Narrate2Nav: Real-Time Visual Navigation with Implicit Language Reasoning in Human-Centric Environments

大型视觉-语言模型（VLMs）已在增强移动机器人于以人为中心环境中的导航能力方面展现出潜力，这些模型能够理解上下文线索、人类意图和社会动态，并表现出推理能力。然而，其计算复杂度较高，且对连续数值数据的敏感性有限，这阻碍了其实时性能和精确运动控制的能力。为此，我们提出了Narrate2Nav，这是一种新颖的实时视觉-动作模型，它利用基于Barlow Twins冗余减少损失的自我监督学习框架，将隐式的自然语言推理、社会线索和人类意图嵌入到视觉编码器中，从而使模型能够在潜在空间而非标记空间中进行推理。该模型在训练过程中结合RGB输入、运动命令以及场景上下文的文本信号，从而在部署时将机器人观测结果转化为短期点目标导航所需的低级运动命令。对Narrate2Nav在多种具有挑战性场景中的广泛评估，包括离线未见数据集和真实世界实验，分别显示其相较于次优基线模型的整体性能提升了52.94%和41.67%。此外，通过对Narrate2Nav视觉编码器注意力图的定性比较分析（与另外四种基线模型对比），表明其对导航关键场景元素的关注度显著提升，进一步证明了其在以人为中心的导航任务中的有效性。

该论文试图解决在人类中心环境中，移动机器人导航面临的实时性能和精确运动控制问题。由于大型视觉-语言模型（VLMs）计算复杂度高且对连续数值数据敏感性有限，这阻碍了其在实际应用中的表现。这是一个需要改进现有技术的问题。

论文提出了一种名为Narrate2Nav的新型实时视觉-动作模型，利用Barlow Twins冗余减少损失的自监督学习框架，将自然语言推理、社会线索和人类意图嵌入到视觉编码器的潜在空间中，而非传统的标记空间。通过结合RGB输入、运动指令和场景上下文文本信号进行训练，模型能够在部署时从机器人观察结果生成短期点目标导航的低级运动指令。这种方法减少了对计算资源的需求，并增强了模型对动态环境的理解能力。

1. Narrate2Nav在离线未见数据集和现实世界实验中分别比次优基线提高了52.94%和41.67%，显示了显著的性能提升。 2. 论文展示了模型的注意力机制更关注导航关键场景元素，验证了其在人类中心任务中的有效性。 3. 模型设计注重实时性和轻量化，适合移动机器人应用场景。 4. 尽管论文未明确提及代码开源状态，但其提出的自监督学习方法为未来研究提供了重要方向，例如进一步优化潜在空间表示或探索更多复杂的导航任务。

与本研究相关的其他工作包括： 1. 'Vision-Language Navigation (VLN): Bridging Vision and Language in Embodied Agents' - 探索了视觉-语言融合在导航中的作用。 2. 'Socially Compliant Mobile Robot Navigation via Deep Reinforcement Learning' - 研究了通过深度强化学习实现符合社交规范的机器人导航。 3. 'Barlow Twins: A Self-Supervised Learning Framework' - 提出了用于特征学习的冗余减少损失函数，是本文方法的基础之一。 4. 'Learning to Navigate in Cities Without a Map' - 针对城市环境中的无地图导航提出了创新解决方案。 这些研究共同推动了机器人导航领域的发展，尤其是在复杂的人类中心环境中。