动态视觉推理（Dynamic Visual Reasoning），尤其是涉及到物体间物理关系的推理，是计算机视觉中一个重要且困难的问题。给定一个观测视频，它不仅要求模型根据视频推理出视频中物体的交互过程，还要求对视频的长期未来（Long-term）以及反事实（Counterfactual）情形进行预测，而这两项预测恰好是现有神经网络模型的弱点。
现有方法可以大致被分为两类：使用端到端神经网络（如 Vision Transformer）来对物体间关系进行建模的方法 [3]，和基于神经符号（Neuro-Symbolic）的推理模型 [2, 4]；前者受益于 Transformer 等的强大表征有着不错的性能，但是其依赖大量数据，且推理过程不透明且难以解释；而后者基于神经符号逐步进行推理，模型具有良好的解释性，但是精度受限；此外，现有方案都难以解决长期和反事实预测的难题。
本文提出的基于可微物理模型的神经符号推理框架很好的解决了这个问题，它通过从视频和问题对中学习物理模型，并利用显式的物理模型对物体动力学进行建模，基于准确的动力学预测来回答长期和反事实预测问题。本文的框架透明可解释，并在精度上超过了基于 Transformer 的模型。此外，它显示了良好的数据效率，在只使用 20% 甚至更少的数据即可取得不错的效果。本文作者来自香港大学 (HKU)，麻省理工大学 (MIT) 和 MIT-IBM 沃森人工智能实验室，论文已被 NeurIPS 2021 接收。

内容中包含的图片若涉及版权问题，请及时与我们联系删除