NavGPT-2: Unleashing Navigational Reasoning Capability for Large Vision-Language Models

借助大型语言模型（LLMs）的显著进展，正在兴起一股利用LLMs进行指令跟随机器人导航的趋势。这种趋势强调了LLMs在导航推理和多样化语言理解方面的潜力。然而，在将LLMs集成到视觉语言导航（VLN）任务中时，与以前的下游专业模型相比，观察到代理性能存在显著差异。此外，在这些集成中，语言本身在解释和促进代理交互方面的能力常常被低估。在这项工作中，我们努力弥合VLN专业模型和基于LLM的导航范式之间的差距，同时保持LLMs在生成语言导航推理方面的解释能力。通过对一个冻结的LLM中的视觉内容进行对齐，我们涵盖了LLMs的视觉观察理解，并利用一种方法将LLMs和导航策略网络结合起来，以实现有效的行动预测和导航推理。我们展示了所提出的方法的数据效率，并消除了基于LM的代理和最先进的VLN专业人员之间的差距。

本文旨在解决如何在语言模型与导航系统之间建立联系的问题，以提高导航任务的效率和准确性。同时，本文还试图利用语言模型的优势，提高机器人在语言交互中的表现。这是一个新问题。

本文提出了一种结合视觉和语言的导航模型，通过将视觉信息与固定的语言模型相结合，实现了对视觉信息的理解，并利用语言模型生成导航推理。这种方法有效地提高了机器人的行动预测和导航推理能力，消除了语言模型与导航系统之间的差距。

本文的实验结果表明，提出的方法在数据效率和性能方面都优于现有的专门的导航模型。此外，本文还提供了开源代码和数据集，以便其他研究人员进行进一步研究。值得进一步深入研究的工作包括如何进一步提高机器人在视觉和语言交互中的表现，以及如何进一步优化语言模型与导航模型之间的联系。

相关研究包括：Learning to Navigate Using Mid-Level Visual Priors, Vision-and-Language Navigation: Interpreting Visually Grounded Navigation Instructions in Real Environments, Learning to Navigate in Cities Without a Map等。