Perspective-Aware Reasoning in Vision-Language Models via Mental Imagery Simulation

我们提出了一种通过心理意象模拟实现视觉-语言模型（VLMs）中视角感知推理的框架。视角转换是指从替代视点感知环境或情境的能力，这是人类水平视觉理解的关键基准，对于与环境交互以及与自主代理协作至关重要。尽管 VLMs 在空间推理方面取得了进展，但最近的研究表明，现代 VLMs 在视角感知推理能力上存在显著不足，并表现出强烈的自我中心解释偏见。为了弥合 VLMs 与人类感知之间的差距，我们重点关注心理意象的作用，人类通过抽象表征感知世界，这些表征有助于实现视角转换。受此启发，我们提出了一个名为“抽象视角转换”（APC）的框架，该框架有效利用了视觉基础模型（如目标检测、分割和方向估计）来构建场景抽象并实现视角变换。我们在合成数据和真实图像基准上的实验结果表明，与各种 VLMs 相比，我们的框架在视角感知推理方面实现了显著改进，进一步超越了微调的空间推理模型和基于新视角合成的方法。

该论文试图解决现代视觉-语言模型（VLMs）缺乏视角感知推理能力的问题，特别是其对自我中心解释的强烈偏向。这是一个需要进一步研究的新问题，旨在弥合VLMs与人类水平视觉理解之间的差距。

论文提出了一种名为Abstract Perspective Change (APC) 的框架，通过利用视觉基础模型（如对象检测、分割和方向估计）来构建场景抽象并实现视角转换。关键思路是模仿人类的‘心理意象’机制，使模型能够从不同视角理解和推理环境。相比现有研究，这种方法更注重抽象表示和视角变化，而非单纯依赖于数据驱动或视图合成技术。

实验设计包括在合成图像和真实图像基准上的测试，并与多种VLMs及专门的空间推理模型进行了对比。结果显示APC框架显著提升了视角感知推理能力。此外，论文未明确提及代码开源状态，但提出了未来可深入研究的方向，例如将框架扩展到动态场景或多模态交互任务中。

相关研究包括：1) 视角变换和新型视图合成方法（如NeRF及其变体）；2) 空间推理增强的VLMs（例如Spatially-Aware Vision-Language Models）；3) 心理学启发的多视角学习（如Perspective-Taking in Multi-Agent Systems）。一些相关论文标题为《Neural Radiance Fields for View Synthesis》、《Learning to Reason with Spatial Relations in Vision-Language Tasks》和《Multi-Agent Perspective-Taking via Mental Simulation》。