DINO-WM: World Models on Pre-trained Visual Features enable Zero-shot Planning

在给定控制动作的情况下预测未来结果是物理推理的基础。然而，这种预测模型，通常称为世界模型，已被证明难以学习，并且通常是为了特定任务的解决方案而开发，同时进行在线策略学习。我们认为，世界模型的真正潜力在于它们能够仅使用被动数据来跨多种问题进行推理和规划。具体来说，我们要求世界模型具备以下三个特性：1）能够在离线、预先收集的轨迹上进行训练，2）支持测试时的行为优化，3）促进任务无关的推理。为了实现这一点，我们提出了DINO世界模型（DINO-WM），这是一种新的方法，用于建模视觉动态而不重建视觉世界。DINO-WM利用了通过DINOv2预训练的空间补丁特征，使其能够通过预测未来的补丁特征从离线行为轨迹中学习。这一设计使DINO-WM能够通过动作序列优化实现观察目标，通过将期望的目标补丁特征作为预测目标，促进任务无关的行为规划。我们在多个领域评估了DINO-WM，包括迷宫导航、桌面推动物体和粒子操控。我们的实验表明，DINO-WM可以在测试时生成零样本行为解决方案，无需依赖专家演示、奖励建模或预学习的逆向模型。值得注意的是，与之前的最先进工作相比，DINO-WM表现出强大的泛化能力，适应了多种任务类别，如任意配置的迷宫、具有不同形状物体的推动物体操作以及多粒子场景。

该论文旨在解决构建能够跨多种任务进行推理和规划的世界模型的问题，特别是在仅使用离线数据的情况下。这是一个挑战性的问题，因为现有的世界模型通常依赖于在线策略学习，并且针对特定任务进行了优化。

论文的关键思路是提出了一种名为DINO World Model (DINO-WM)的新方法，该方法通过预测未来图像补丁特征来建模视觉动态，而无需重建整个视觉世界。DINO-WM利用预训练的DINOv2空间补丁特征，从离线行为轨迹中学习，从而支持测试时的行为优化和任务无关的推理。

1) DINO-WM能够在没有专家演示、奖励建模或预学习逆模型的情况下，在测试时生成零样本行为解决方案。 2) 实验在多个领域进行了评估，包括迷宫导航、桌面推动和粒子操控，展示了DINO-WM的强大泛化能力。 3) 论文提供了详细的实验设计，使用了多个数据集，并且代码已经开源，便于复现和进一步研究。

1) "PlaNet of the Agents: Off-Policy Planning in Partially Observable Environments" - 该论文探讨了部分可观测环境中的离线规划问题。 2) "Dream to Control: Learning Behaviors by Latent Imagination" - 提出了通过潜在想象学习行为的方法。 3) "World Models" - 原始的世界模型论文，提出了结合VAE和RNN来建模环境动态的方法。 4) "Latent Space Policies for Hierarchical Reinforcement Learning" - 探讨了层次强化学习中的潜在空间策略。