Advancing Object Goal Navigation Through LLM-enhanced Object Affinities Transfer

在目标导航中，智能体使用视觉和空间信息，向着通过类别标签识别的物体导航。以前，仅基于网络的方法通常依赖历史数据来估计物体关联性，缺乏适应新环境和未知目标的能力。同时，将大型语言模型（LLMs）用作导航器或代理，虽然提供了广泛的知识库，但成本效益低，缺乏有针对性的历史经验。为解决这些挑战，我们提出了LLM增强的物体关联转移（LOAT）框架，将LLM导出的物体语义与基于网络的方法相结合，利用经验性物体关联性，从而提高在陌生环境中的适应性。LOAT采用双模块策略：一个通用的关联模块用于访问LLMs的广泛知识，一个经验性关联模块用于应用学习到的物体语义关系，辅以动态融合模块，根据时间上下文协调这些信息源。结果得分在馈送到下游策略之前激活语义地图，增强了具有上下文感知输入的导航系统。我们在AI2-THOR和Habitat模拟器中进行了评估，证明了在物体目标导航中将LLM洞察力整合起来的LOAT的有效性，提高了导航成功率和效率。

如何在目标导航中提高适应性和效率？

将大型语言模型与网络方法相结合，利用经验性对象亲和力来改善在陌生环境中的适应性。

论文提出了LLM-enhanced Object Affinities Transfer（LOAT）框架，使用了通用亲和力模块和经验亲和力模块，并通过动态融合模块将它们结合起来。在AI2-THOR和Habitat模拟器中进行了评估，结果显示LOAT提高了导航系统的成功率和效率。

在目标导航领域，之前的方法主要基于网络，缺乏适应新环境和未见目标的能力。同时，使用LLM进行导航虽然拥有广泛的知识库，但成本高昂且缺乏有针对性的历史经验。