SoFar: Language-Grounded Orientation Bridges Spatial Reasoning and Object Manipulation

空间智能是具身人工智能（Embodied AI）的关键组成部分，促使机器人能够理解和与环境互动。尽管最近的进展增强了视觉语言模型（VLMs）对物体位置和位置关系的感知能力，但它们仍然缺乏精确理解物体方向的能力——这是涉及精细操作任务的关键要求。解决这一限制不仅需要几何推理，还需要一种表达和直观的方式来表示方向。在这一背景下，我们认为自然语言提供了一个比标准框架更灵活的表示空间，使其特别适合指令跟随的机器人系统。在本文中，我们引入了语义方向的概念，它使用自然语言以无需参考框架的方式定义物体的方向（例如，USB的“插入”方向或刀的“把手”方向）。为了支持这一点，我们构建了OrienText300K，这是一个大规模的数据集，包含带有语义方向标注的3D模型，将几何理解与功能语义联系起来。通过将语义方向集成到VLM系统中，我们使机器人能够在具有位置和方向约束的情况下生成操作动作。广泛的模拟和真实世界实验表明，我们的方法显著增强了机器人的操作能力，例如，在Open6DOR上的准确率为48.7%，在SIMPLER上的准确率为74.9%。

该论文试图解决机器人在执行精细操作任务时，无法精确理解物体朝向的问题。尽管视觉语言模型（VLMs）已经提升了对物体位置和位置关系的感知能力，但在理解物体具体朝向上仍存在不足，这限制了机器人完成需要高精度操作的任务。

论文提出使用自然语言来表示物体的语义朝向，而非依赖传统的坐标系。通过构建一个包含3D模型及其语义朝向标注的大规模数据集OrienText300K，研究者们将几何理解与功能语义联系起来，使机器人能够根据自然语言指令生成带有位置和朝向约束的操作动作。这一思路提供了一种更灵活且直观的方式，使得机器人可以更好地理解和执行复杂任务。

1. 提出了'语义朝向'的概念，并创建了一个名为OrienText300K的数据集，用于训练和评估模型。 2. 在模拟环境和真实世界中进行了广泛的实验验证，展示了显著优于现有方法的表现，例如在Open6DOR上达到了48.7%的准确率，在SIMPLER上达到了74.9%。 3. 研究表明，结合自然语言处理技术可以提高机器人的操作灵活性和准确性，为未来的研究提供了新的方向。 4. 论文提到所有代码和数据集都将开源，以促进后续研究。

近年来，关于增强机器人空间智能的研究不断涌现。一些相关的工作包括： - 'Learning to Manipulate Articulated Objects in Unseen Environments via a Geometric Understanding'，探讨了如何利用几何信息帮助机器人学习操纵关节对象。 - 'Visual Semantic Manipulation Network: Learning Spatial Relations for Goal-Directed Robotic Tasks'，提出了一个网络架构，旨在通过视觉语义关联来指导目标导向的机器人任务。 - 'TACTile: Teaching Actions, Concepts, and Tasks through Grounded Language Instruction'，研究了如何通过基于语言的指令来教机器人执行特定动作、概念和任务。 这些工作均围绕提升机器人对环境的理解及交互能力展开，但本篇论文的独特之处在于它引入了自然语言作为表达物体朝向的有效工具。