Disentangling the Factors of Convergence between Brains and Computer Vision Models

许多在自然图像上训练的AI模型会发展出类似于人类大脑的表征能力。然而，这种大脑与模型之间相似性的形成因素仍不清楚。为了分别研究模型结构、训练过程和数据类型如何独立地促使神经网络发展出类似大脑的表观征，我们训练了一系列自监督视觉变换模型（DINOv3），系统地改变了这些不同因素。我们将这些模型对图像的表征与通过fMRI和MEG记录的人类大脑数据进行比较，从而在空间和时间分析上都达到较高分辨率。我们使用三个互补的指标来评估模型与大脑之间的相似性，分别关注整体表征相似性、拓扑组织以及时间动态。 我们发现，模型大小、训练量和图像类型这三个因素，都会独立且交互地影响上述各项大脑相似性指标。特别是，使用最贴近人类视觉经验的图像训练出的最大DINOv3模型，展现出最高的大脑相似性。这种类脑表征在AI模型中的出现，在训练过程中遵循特定的时间顺序：模型首先与大脑感觉皮层早期的表征相匹配，只有在经过大量训练后，才会与晚期和前额叶区域的表征对齐。最终，这种发展轨迹与人类大脑皮层的结构和功能特性都有关联：模型最后获得的表征，恰好与那些在发育中扩张最明显、皮层厚度最大、髓鞘化程度最低、时间尺度最慢的脑区相对应。 总体而言，这些发现揭示了网络结构与训练经验之间的相互作用，解释了人工神经网络是如何逐渐以人类的方式来看待世界的，同时也为理解人类大脑如何形成其视觉世界的表征提供了一个有前景的框架。

这篇论文旨在探讨人工智能模型中出现的类脑表示（brain-like representations）的驱动因素，包括模型结构、训练数据和训练程度如何独立和交互地影响模型与人脑表示的相似性。这个问题涉及人工智能和认知神经科学的交叉领域，是一个尚未被充分理解的新兴研究问题。

论文的关键思路是通过系统地变化模型大小、训练量和训练数据类型，训练一系列自监督视觉变换器（DINOv3），并将其表示与人脑的fMRI和MEG记录进行比较。与现有研究不同，该论文不仅关注最终模型的类脑程度，还揭示了模型在训练过程中逐步发展出类脑表示的时间轨迹，并将其与人脑皮层的结构和功能特性联系起来。

1. 使用DINOv3自监督视觉变换器家族，系统地控制模型大小、训练数据类型（如是否使用更贴近人类视觉经验的图像）和训练阶段。 2. 结合fMRI（空间分辨率高）和MEG（时间分辨率高）数据，全面评估模型与人脑表示的相似性。 3. 提出三个互补的评估指标：整体表示相似性、拓扑组织、时间动态。 4. 发现最大模型在训练充分且使用更贴近人类感知的图像后，表现出最高的人脑相似性。 5. 揭示模型在训练过程中逐步与大脑不同区域对齐：早期与感觉皮层对齐，后期才与前额叶等高阶区域对齐。 6. 最后获得的表示与人脑中发育扩张更大、皮层厚度更高、髓鞘化更少、时间尺度更慢的区域高度相关。 7. 论文为理解人脑如何形成视觉表示提供了新的AI模拟框架，也为构建更类脑的AI系统提供了设计依据。

1. 《Emergence of grid-like representations in deep reinforcement learning agents》 - 该论文探讨了强化学习模型中出现的类脑网格细胞表示。 2. 《Brain-like representations emerge as universal features of deep neural networks trained on object recognition》 - 研究不同结构的模型在物体识别任务中是否都会出现类脑表示。 3. 《Linking artificial neural network representations to brain data through representational similarity analysis》 - 使用RSA方法将模型表示与神经数据进行对比。 4. 《Self-supervised learning aligns with the functional hierarchy of visual cortex》 - 探讨自监督学习模型如何与视觉皮层层级结构对齐。 5. 《The development of human brain charts for neurodevelopmental milestones》 - 本论文从神经科学角度提供了人脑发育的参考图谱，可与AI模型训练轨迹进行类比。