Prioritized Semantic Learning for Zero-shot Instance Navigation

本研究探讨了零样本实例导航问题，即代理人在没有使用物体注释进行训练的情况下导航到特定物体。先前的物体导航方法应用了图像目标导航（ImageNav）任务（去到图像的位置）进行预训练，并使用视觉语言模型将代理人转移到实现物体目标。然而，这些方法导致了语义忽略的问题，即模型无法学习有意义的语义对齐。本文提出了一种优先语义学习（PSL）方法来提高导航代理的语义理解能力。具体而言，提出了一个语义增强的PSL代理，并引入了一种优先语义训练策略，以选择展示清晰语义监督的目标图像，并将奖励函数从严格的精确视图匹配中放宽。在推理时，设计了一种语义扩展推理方案，以保持与训练相同的目标语义的粒度级别。此外，针对流行的HM3D环境，我们提出了一个实例导航（InstanceNav）任务，该任务需要按照详细描述去到特定的物体实例，而不是仅通过物体类别定义目标的物体导航（ObjectNav）任务。我们的PSL代理在零样本ObjectNav的成功率方面超过了先前的最新技术水平66％，并且在新的InstanceNav任务上也表现优异。代码将在https://anonymous.4open.science/r/PSL/上发布。

本论文试图解决零样本实例导航问题，即在没有目标注释的情况下，使代理机器人能够导航到特定的物体实例。同时，论文还试图解决语义忽略的问题，即模型无法学习到有意义的语义对齐。

论文提出了一种优先级语义学习（PSL）方法，旨在提高导航代理的语义理解能力。具体来说，论文提出了一种语义增强的PSL代理，引入了一种优先级语义训练策略，以选择展示清晰语义监督的目标图像，并放宽奖励函数的限制。在推理时，设计了一种语义扩展推理方案，以保持与训练时相同的目标语义的粒度水平。

论文的亮点包括：1. 提出了一种优先级语义学习方法，解决了语义忽略问题；2. 在HM3D环境中提出了实例导航任务，相对于目标导航任务，实例导航任务需要更详细的描述；3. 在零样本目标导航任务上，PSL代理的成功率比之前的最先进方法高出66%；4. 论文代码将在https://anonymous.4open.science/r/PSL/上发布。

在这个领域中，最近的相关研究包括：1. Self-Supervised Visual Planning with Temporal Skip Connections（ICLR 2021）；2. Visual Object Navigation using Multimodal Deep Reinforcement Learning（CVPR 2018）；3. Learning to Navigate Unseen Environments: Back Translation with Environmental Dropout（CVPR 2018）等。