Thinking in Space: How Multimodal Large Language Models See, Remember, and Recall Spaces

人类具备从连续的视觉观察中记住空间的视觉-空间智能。然而， multimodal large language models (MLLMs) 是否也能通过视频“在空间中思考”？我们提出了一个基于视频的视觉-空间智能基准测试（VSI-Bench），包含超过5,000个问题-答案对，并发现MLLMs表现出具有竞争力的——尽管仍低于人类水平的——视觉-空间智能。我们通过语言和视觉方式探究模型如何在空间中思考，发现虽然空间推理能力仍然是这些模型达到更高基准性能的主要瓶颈，但局部世界模型和空间意识确实在这些模型中有所体现。值得注意的是，现有的语言推理技术（例如，思维链、自洽性、思维树）未能提高性能，而在回答问题时显式生成认知地图则增强了MLLMs的空间距离能力。

该论文探讨了多模态大型语言模型（MLLMs）是否能够从视频数据中‘思考空间’，即通过观看视频来理解并记忆空间布局，类似于人类的视觉-空间智能。这是一个新的研究方向，旨在评估MLLMs在处理复杂视觉信息时的空间推理能力。

论文提出了一个名为VSI-Bench的新基准测试，包含超过5000个问答对，用于评估MLLMs的视觉-空间智能。研究表明，尽管MLLMs在某些任务上表现接近人类水平，但它们的空间推理能力仍然是主要瓶颈。此外，论文发现生成认知地图可以显著提高模型的空间距离判断能力。

1. 提出了一个大规模的视频基准测试（VSI-Bench），用于评估MLLMs的视觉-空间智能。 2. 实验结果显示，MLLMs在空间推理任务上的表现虽然优于随机猜测，但仍低于人类水平。 3. 研究发现传统的语言推理技术（如链式思维、自我一致性等）未能有效提升模型性能，而生成认知地图的方法则显著提高了模型的空间距离判断能力。 4. 论文提供了详细的实验设计和分析方法，为后续研究提供了参考。

1. "Visual Question Answering (VQA): Datasets, Algorithms, and Future Directions" - 这篇综述文章讨论了视觉问答领域的最新进展，包括数据集和算法。 2. "Spatial Reasoning in Neural Networks: A Survey" - 这篇调查文章总结了神经网络在空间推理方面的研究进展。 3. "Emergent Tool Use From Multi-Agent Autocurricula" - 探讨了多智能体环境中工具使用的自发出现，涉及空间理解和协作。 4. "Learning to Navigate in Cities Without a Map" - 研究了如何在没有地图的情况下训练模型进行城市导航，涉及到空间记忆和路径规划。