SpatialCoT: Advancing Spatial Reasoning through Coordinate Alignment and Chain-of-Thought for Embodied Task Planning

空间推理是具身人工智能（AI）研究中的一个核心问题。通过补充空间数据和微调来增强空间推理能力的努力，在处理复杂的具身任务时，由于依赖于基于语言的输出，证明了其效果有限且不理想。尽管一些方法引入了基于点的动作空间以缓解这一问题，但在复杂环境中处理更精细的任务时仍然不足。这种缺陷源于未能充分利用视觉-语言模型（VLMs）固有的思维和推理能力。为了解决这些限制，我们提出了一种名为SpatialCoT的新方法，专门设计用于增强VLMs的空间推理能力。我们的方法包括两个阶段：空间坐标双向对齐，即将视觉-语言输入与空间坐标对齐；以及基于链式思维的空间定位，利用语言模型的推理能力进行高级空间推理。我们在模拟和真实世界环境中评估了SpatialCoT在具有挑战性的导航和操作任务中的表现。实验结果表明，我们的方法在这两项任务中均显著优于之前的最先进方法。

该论文旨在解决在复杂环境中提升机器人或智能体空间推理能力的问题。现有的方法通过补充空间数据和微调来增强空间推理能力，但在处理复杂的实体任务时效果有限，主要因为依赖于基于语言的输出。这是一个持续存在的挑战，尤其是在需要精细操作和导航的任务中。

论文提出了一种名为SpatialCoT的新方法，以增强视觉-语言模型（VLMs）的空间推理能力。SpatialCoT包含两个阶段：1) 空间坐标双向对齐，将视觉-语言输入与空间坐标对齐；2) 链式思考空间定位，利用语言模型的推理能力进行高级空间推理。这种方法不同于传统的仅依赖语言输出的方式，而是充分利用了VLMs的内在推理能力。

实验设计包括在模拟和现实世界环境中评估SpatialCoT的性能，特别是在导航和操纵任务上。实验结果表明，SpatialCoT显著优于先前的最先进方法。此外，论文开源了代码和数据集，为未来的研究提供了基础。值得进一步研究的方向包括扩展到更多种类的任务和环境，以及探索更复杂的空间推理机制。

最近在这个领域内，相关的研究包括使用点基动作空间来改善空间推理，但这些方法在处理复杂任务时仍然存在局限性。其他相关研究还包括：1)《Enhancing Spatial Reasoning in Embodied Agents via Point-Based Action Spaces》；2)《Vision-Language Models for Spatial Understanding in Robotics》；3)《Learning to Navigate and Manipulate in Complex Environments》。