AI 究竟能否抓住推理的本质,也就是,对分布在多个事实或记忆中的元素之间的远距离关系实现认知? 
 
  为此,Alphabet 子公司 DeepMind 试图从即将在 Arxiv.org 上发布的一项研究中找到答案,该研究提出了一种具有远距离推理能力的架构 MEMO 。按照研究人员说法,MEMO 有两个新的组成部分:第一个介绍事实和存储在外部存储中的记忆之间的不同点,第二个则采用检索系统,该系统允许在决定答案之前使用可变数量的“内存跃点”。
 
  通过这两个部分,可以使之能够解决新型推理任务。电脑技巧实用大全
 
  论文的合著者写道:
 
  海马以全新的方式支持单个经验的灵活重组,以推断出未观察到的关系……这称为推理。有趣的是,已经有证据证明,海马是通过一个被称之为模式分离(pattern separation)的过程彼此独立地存储记忆,以最大程度地减少记忆之间的干扰。 最近的一项研究揭示了这一点:这些被独立存储记忆的整合出现在通过循环机制(该机制允许多个模式分离的代码进行交互并因此支持推理)进行检索的时候。 
 
  由此,DeepMind 的工作从这项研究中获得启发,以研究和增强机器学习模型中的推理。 研究人员利用神经科学文献,设计了一个过程生成的任务,称为配对联想推理(paired associative inference,简称 PAI),该任务旨在通过迫使 AI 系统学习抽象知识以解决先前未见的问题来获取推理能力。 
 
  随之,研究者们构建了 MEMO,它能够在提供输入查询时会输出一系列可能的答案;而且为了尽量减少必要的计算,答案还多采用表征的形式。
 
  研究人员说,MEMO在内存中保留了一组事实,并且学习了一种映射方法,该映射方法与在使用内存时具有更大灵活性的机制一起工作,并且它与典型的AI模型不同,因为它使计算时间适应任务的复杂性。 在工作期间,MEMO从称为REMERGE的人类关联内存模型中获取线索,该模型将从内存中检索到的内容作为新查询进行再循环,并在回收过程中使用在不同时间步长检索到的内容。它们之间的区别在于计算该模型是否 已经适应了一个固定点。 然后,MEMO输出一个动作,该动作指示它是否希望继续计算并查询其内存,或者是否能够响应给定的任务。
 
  在测试中,DeepMind的研究人员将MEMO与两个基准模型以及Facebook AI Research的bAbi套件中的当前基准进行了比较。比较了最新模型,结果表明MEMO可以在PAI任务上实现最高的准确性,并且它是唯一的架构 可以在更长的序列上成功回答最复杂的推理查询。
 
  此外,与性能最佳的基准模型的 10 个步骤相比,MEMO 仅需要三个“跃点(hops)” 即可完成一项任务。 在另一个需要模型在给定节点图的情况下找到两个节点之间最短路径的任务中,面对更为复杂的节点图,MEMO 比基准模型的表现好出了 20%。