Navigation World Models

导航是具有视觉运动能力的智能体的基本技能。 我们介绍了一种导航世界模型（NWM），这是一种可控的视频生成模型，能够根据过去的观察和导航动作预测未来的视觉观察结果。 为了捕捉复杂的环境动态，NWM采用了一种条件扩散变压器（CDiT），该模型在大量人类和机器人智能体的第一人称视角视频数据集上进行训练，并扩展到了10亿参数。 在熟悉的环境中，NWM可以通过模拟导航路径并评估这些路径是否达到预期目标来规划导航轨迹。 与行为固定的监督导航策略不同，NWM可以在规划过程中动态地融入约束条件。 实验表明，NWM在从零开始规划路径或对从外部策略中采样的路径进行排序方面表现出有效性。 此外，NWM利用其学习到的视觉先验知识，可以从单个输入图像想象出不熟悉环境中的路径，使其成为下一代导航系统中灵活且强大的工具。

该论文旨在解决视觉-运动代理在导航任务中的预测和规划问题，特别是如何基于过去的观察和动作预测未来的视觉观察，并在熟悉和不熟悉的环境中规划有效的导航路径。

论文提出了一个名为Navigation World Model (NWM) 的模型，该模型利用条件扩散变换器（Conditional Diffusion Transformer, CDiT）来生成未来视觉观察的视频。NWM不仅能够模拟和评估导航轨迹以实现目标，还能在规划过程中动态地纳入约束条件。与传统的监督导航策略不同，NWM具有更高的灵活性和适应性。

1. NWM可以用于从头开始规划轨迹或通过外部策略生成的轨迹进行排名。 2. 在不熟悉的环境中，NWM可以从单个输入图像想象出可能的导航路径。 3. 实验展示了NWM在多种环境下的有效性，包括熟悉和不熟悉的场景。 4. 论文使用的数据集包括多样化的第一人称视角视频，涵盖了人类和机器人代理的行为。 5. 该模型规模达到10亿参数，展示了大规模模型在导航任务中的潜力。

1. "Learning to Navigate in Cities Without a Map" - 该研究探讨了在没有地图的情况下学习城市导航的方法。 2. "Vision-and-Language Navigation: Interpreting Visually-Grounded Navigation Instructions in Real Environments" - 研究了如何结合视觉和语言指令进行导航。 3. "Hierarchical Reinforcement Learning for Robot Navigation in Dynamic Environments" - 探讨了在动态环境中使用分层强化学习进行机器人导航的方法。 4. "Predictive Vision for Autonomous Driving" - 研究了预测视觉在自动驾驶中的应用。