【论文标题】Object-based attention for spatio-temporal reasoning: Outperforming neuro-symbolic models with flexible distributed architectures 【作者团队】David Ding，Felix Hill，Adam Santoro，Matt Botvinick 【发表时间】2020/12/15 【论文链接】https://arxiv.org/pdf/2012.08508.pdf

【推荐理由】 本文出自 DeepMind，作者针对最新提出的时空认知推理任务 CLEVRER 和 CATER 提出了一种完全基于神经网络学习的模型，性能超越了此前最优的「神经-符号」方法。

如今，神经网络在很多感知任务中都取得了成功，但近年来许多研究人员常常声称它们无法解决需要更高层次推理的任务。最近，人们提出了两个新的任务领域：CLEVRER 和 CATER，它们重点关注对象间的时空交互环境下的推理，而不是感知。在这些领域的初步实验发现，将逻辑引擎和语言解析器与神经感知前端结合在一起的「神经-符号」方法，在很大程度上优于完全学习的分布式网络。在本文中，作者展示了相反的情况，一个带有正确的归纳偏置的全学习神经网络，在上述两项任务上（尤其是在最强调推理而非感知的问题上），可以比之前所有的「神经-符号」模型表现得更好。

本文提出的模型主要利用了自注意力和习得的「软」的以对象为中心的表征，以及类似于 BERT 的半监督预测损失。这些灵活的偏置使本文提出的模型在使用不到 60% 的可用标记数据的情况下超越了先前「神经-符号」模型的最好水平。总而言之，本文的实验结果驳倒了之前涉及这些数据集的工作所提出的神经符号理论，而且这些实验结果提供了证明神经网络确实可以学会对符合自然法则的因果关系、动态结构进行有效的推理。

图 1：模型架构示意图。
本文提出的模型的成功之处在于： （1）自注意力能够有效地整合时序信息 （2）对于输入在正确的抽象水平上进行了「软」离散化 （3）通过自监督学习为每个样本提取更多的信息

内容中包含的图片若涉及版权问题，请及时与我们联系删除