Flow Snapshot Neurons in Action: Deep Neural Networks Generalize to Biological Motion Perception

生物运动感知（BMP）是指人类仅通过运动模式就能感知和识别生物动作的能力，有时甚至是仅有点光源显示的最小运动模式。尽管人类能够在没有任何先前训练的情况下出色完成这些任务，但当前的AI模型在泛化性能方面表现不佳。为了弥补这一研究差距，我们提出了Motion Perceiver（MP）。MP仅依赖于视频剪辑中的补丁级光流作为输入。在训练过程中，它通过竞争绑定机制学习原型光流快照，并集成不变的运动表示来预测给定视频的动作标签。在推理过程中，我们评估了所有AI模型和人类在24个BMP条件下使用点光源显示的62,656个视频刺激的泛化能力。值得注意的是，MP在这些条件下的Top-1动作识别准确率最高提升了29%，超过了所有现有的AI模型。此外，我们在计算机视觉中的两个标准视频数据集中对所有AI模型进行了基准测试。MP在这些情况下也表现出优异的性能。更有趣的是，通过心理物理实验，我们发现MP识别生物运动的方式与人类行为数据一致。所有数据和代码都将公开发布。

提高人工智能在生物运动感知方面的泛化性能

提出Motion Perceiver (MP)模型，通过竞争绑定机制学习典型的流动快照并整合不变的运动表示来预测给定视频的动作标签，最终在62,656个视频刺激和两个标准视频数据集的实验中，MP模型均表现出优秀的性能，并且在神经科学和心理物理学实验中也证明了MP模型与人类的行为数据相吻合

实验设计了62,656个视频刺激和两个标准视频数据集，MP模型在所有实验中均表现出优秀的性能，同时还开源了所有数据和代码，值得进一步研究

相关研究包括：1. Learning to See Physics via Visual De-animation, 2. Learning to See in the Dark, 3. The Perception-Distortion Tradeoff, 4. Learning to Learn from Noisy Labeled Data