Is A Picture Worth A Thousand Words? Delving Into Spatial Reasoning for Vision Language Models

大型语言模型（LLMs）和视觉语言模型（VLMs）在各种任务和领域中展示了卓越的性能。尽管如此，空间理解和推理——人类认知的基本组成部分——仍未得到充分探索。我们开发了新的基准测试，涵盖了空间推理的各个方面，例如关系理解、导航和计数。我们对竞争性语言和视觉语言模型进行了全面评估。我们的研究结果揭示了一些在文献中被忽视的违反直觉的见解：（1）空间推理提出了重大挑战，竞争模型可能落后于随机猜测；（2）尽管有额外的视觉输入，VLMs通常表现不如LLM的对应模型；（3）当文本和视觉信息同时可用时，如果提供足够的文本线索，多模式语言模型变得不那么依赖视觉信息。此外，我们证明利用视觉和文本之间的冗余可以显著增强模型的性能。我们希望我们的研究将有助于开发多模态模型，以提高空间智能，并进一步缩小与人类智能之间的差距。

本文旨在探索空间理解和推理在自然语言处理和视觉语言模型中的应用，并提出了涵盖关系理解、导航和计数等多个方面的新型基准测试。研究发现，空间推理对于当前先进的模型仍然存在巨大挑战，多模态语言模型相较于单模态模型在空间推理方面表现并不出色。

本文提出了新的多方面的空间推理基准测试，并对当前的语言模型和视觉语言模型进行了全面的评估和比较。研究发现，利用视觉和文本之间的冗余性可以显著提高模型性能。

本文提出了新的空间推理基准测试，揭示了多模态语言模型在空间推理方面的不足，并发现利用视觉和文本之间的冗余性可以显著提高模型性能。实验使用了多个数据集，对当前的语言模型和视觉语言模型进行了全面的评估和比较。本文的研究结果可以为多模态模型的发展提供指导。

最近的相关研究包括《VisualBERT: A Simple and Performant Baseline for Vision and Language》、《Unified Vision-Language Pre-Training for Image Captioning and VQA》等。