Human-like object concept representations emerge naturally in multimodal large language models

这篇文章探讨了人类对自然物体的概念化和分类，这一过程一直以来都吸引着认知科学家和神经科学家，提供了对人类感知和认知的关键见解。最近，大型语言模型（LLMs）的快速发展引发了一个有趣的问题，即这些模型是否也可以通过接触大量的语言和多模态数据来发展出类似于人类的物体表征。本研究结合了行为和神经影像分析方法，揭示了LLMs中物体概念表征与人类的相关性。通过收集LLM和多模态LLM（MLLM）的470万个三元组判断的大规模数据集，我们能够得出低维嵌入，捕捉到1854个自然物体的潜在相似性结构。结果显示，这些66维嵌入非常稳定且具有预测性，类似于人类的心理表征呈现出语义聚类。有趣的是，这些嵌入底层维度的可解释性表明，LLM和MLLM已经发展出类似于人类的自然物体概念表征。进一步分析表明，已经确定的模型嵌入与许多功能定义的脑部ROI（如EBA、PPA、RSC和FFA）中的神经活动模式具有强烈的一致性。这提供了有力的证据，表明LLMs中的物体表征虽然不同于人类，但它们共享反映人类概念知识关键模式的基本共性。这项研究推动了我们对机器智能的理解，并为开发更类似于人类的人工认知系统提供了指导。

该论文旨在研究大型语言模型（LLM）是否能够通过大量的语言和多模态数据来发展出类似于人类的物体概念表示，并探究LLM中的物体概念表示与人类的相似性。

通过收集大规模的数据集，得出LLM和多模态LLM（MLLM）的低维嵌入，发现其语义聚类类似于人类的概念知识，并且与大脑功能区域的神经活动模式高度一致，证明了LLM中的物体概念表示与人类的概念知识具有基本的共性。

该论文的实验设计了大规模数据集，并使用了行为和神经影像分析方法，探究LLM中的物体概念表示与人类的相似性，发现LLM和MLLM中的物体概念表示类似于人类的概念知识。此外，该论文的实验结果对于人工智能的发展和更加人类化的人工认知系统的构建具有指导意义。

在这个领域中，最近的相关研究包括“Neural Networks for Joint Object Recognition and Attributes Prediction”和“Multimodal Deep Learning for Robust RGB-D Object Recognition”等。