SpatialBot: Precise Spatial Understanding with Vision Language Models

本文提出了SpatialBot，通过提供RGB和深度图像来实现更好的空间理解，以解决Vision Language Models（VLM）在空间理解方面仍存在困难的问题，而空间理解是Embodied AI的基础。此外，作者构建了SpatialQA数据集，其中包含多层次深度相关问题，以训练VLM对深度的理解。最后，作者提出了SpatialBench，以全面评估VLM在不同层次的空间理解能力。在空间理解基准测试、一般VLM基准测试和Embodied AI任务上进行的大量实验表明，SpatialBot在SpatialQA上训练后取得了显着的改进。模型、代码和数据可在https://github.com/BAAI-DCAI/SpatialBot上获得。

本论文旨在解决Vision Language Models（VLMs）在空间理解方面的不足，提出了一种新的方法SpatialBot，通过同时输入RGB和深度图像来提高空间理解能力。同时，构建了SpatialQA数据集以训练VLMs进行深度理解。

SpatialBot通过同时输入RGB和深度图像来提高空间理解能力，并在SpatialQA数据集上进行训练，大大提高了VLMs的空间理解能力。

该论文的亮点包括构建了一个新的数据集SpatialQA，该数据集涉及多层深度相关问题，用于训练VLMs进行深度理解。同时，作者还提出了SpatialBench，用于全面评估VLMs在不同层面上的空间理解能力。实验结果表明，SpatialBot在SpatialQA数据集上的训练大大提高了VLMs的空间理解能力。

最近在这个领域中，还有一些相关的研究，如《Learning to Navigate Unseen Environments: Back Translation with Environmental Dropout》、《Embodied Language Grounding with 3D Visual Feature Representations》等。