TopV-Nav: Unlocking the Top-View Spatial Reasoning Potential of MLLM for Zero-shot Object Navigation

零样本对象导航（ZSON）任务要求具身代理在不熟悉的环境中找到以前未见过的对象。这种目标导向的探索严重依赖于对环境空间信息的感知、理解和推理能力。然而，当前基于大型语言模型（LLM）的方法将视觉观察转换为语言描述，并在语言空间中进行推理，导致空间信息的丢失。在本文中，我们引入了TopV-Nav，这是一种基于多模态大型语言模型（MLLM）的方法，可以直接在包含完整空间信息的俯视图上进行推理。为了充分挖掘MLLM在俯视视角下的空间推理潜力，我们提出了自适应视觉提示生成（AVPG）方法，以自适应地构建语义丰富的俯视图。这使得代理能够直接利用俯视图中的空间信息进行深入推理。此外，我们设计了一种动态地图缩放（DMS）机制，可以按需动态缩放俯视图，增强局部细粒度推理。另外，我们还设计了一种目标引导导航（TGN）机制，用于预测并利用目标位置，促进全局和类似人类的探索。在MP3D和HM3D基准上的实验表明了我们TopV-Nav的优势，例如，在HM3D上实现了3.9%的成功率（SR）和2.0%的路径长度成功率（SPL）的绝对提升。

该论文试图解决在零样本物体导航（ZSON）任务中，如何使智能体在不熟悉的环境中找到之前未见过的物体的问题。当前基于大语言模型的方法在将视觉观察转换为语言描述时会丢失空间信息，而本文旨在解决这一问题。

论文的关键思路是引入TopV-Nav方法，直接在包含完整空间信息的俯视图地图上进行推理。为了充分利用多模态大语言模型在俯视视角下的空间推理能力，提出了自适应视觉提示生成（AVPG）方法，以构建语义丰富的俯视图地图。此外，还设计了动态地图缩放（DMS）机制和目标引导导航（TGN）机制，分别用于增强局部细粒度推理和促进全局及类人的探索。

1. 提出了TopV-Nav方法，直接利用俯视图地图的空间信息进行推理。 2. 引入AVPG方法，自适应地构建语义丰富的俯视图地图。 3. 设计了DMS机制，动态调整地图比例尺，增强局部推理能力。 4. 提出了TGN机制，预测并利用目标位置，实现全局和类人的探索。 5. 在MP3D和HM3D基准测试中的实验结果表明，TopV-Nav在成功率达到+3.9%和SPL达到+2.0%的绝对改进。 6. 论文提供了开源代码，方便后续研究者复现和进一步研究。

近期在该领域的一些相关研究包括： 1. "Learning to Navigate Unseen Environments with Multimodal Fusion" - 探索多模态融合在未知环境导航中的应用。 2. "Vision-Language Navigation with Semantic and Spatial Reasoning" - 结合语义和空间推理的视觉语言导航方法。 3. "Hierarchical Reinforcement Learning for Zero-Shot Object Navigation" - 使用分层强化学习解决零样本物体导航问题。 4. "Spatial-Aware Language Models for Embodied Navigation" - 研究空间感知的语言模型在实体导航中的应用。