InstructNav: Zero-shot System for Generic Instruction Navigation in Unexplored Environment

让机器人能够按照多样化的语言指令在未知环境中进行导航是人机交互中的一个有吸引力的目标。然而，由于不同的导航任务需要不同的策略，这一目标很具有挑战性。指令导航数据的稀缺性阻碍了训练具有多种策略的指令导航模型。因此，先前的方法都被限制在一种特定类型的导航指令上。在这项工作中，我们提出了InstructNav，一个通用的指令导航系统。InstructNav首次尝试处理各种类型的指令导航任务，而不需要任何导航训练或预建地图。为了达到这个目标，我们引入了动态导航链（DCoN）来统一不同类型的导航指令的规划过程。此外，我们提出了多源价值地图来建模指令导航中的关键要素，以便将语言DCoN规划转换为机器人可执行的轨迹。使用InstructNav，我们首次以零样本的方式完成了R2R-CE任务，并且胜过了许多任务训练方法。此外，InstructNav在零样本Habitat ObjNav上的表现也超过了先前的SOTA方法10.48％，并且在需求驱动导航DDN上超过了86.34％。在各种室内场景的实际机器人实验中，进一步展示了我们的方法在应对环境和指令变化方面的鲁棒性。

本文旨在解决机器人在未知环境中根据不同语言指令进行导航的问题，但由于不同导航任务需要不同的策略，因此缺乏多样化的数据集训练导航模型。

本文提出InstructNav，一个通用的指令导航系统，通过引入动态导航链和多源价值地图来实现不同类型导航指令的规划，进而将语言的导航规划转化为机器人可执行的轨迹。

本文通过InstructNav完成了R2R-CE任务的零样本学习，并在零样本Habitat ObjNav和需求驱动导航DDN任务上超过了之前的SOTA方法。此外，本文还进行了多样的室内场景实验，证明了InstructNav的鲁棒性。

近期相关研究包括：Learning to Navigate by Word-of-Mouth（ICLR 2021）和Vision-and-Language Navigation: Interpreting visually-grounded navigation instructions in real environments（CVPR 2018）。