Robot Learning from a Physical World Model

我们提出了PhysWorld，这是一种通过物理世界建模实现从视频生成中进行机器人学习的框架。近期的视频生成模型能够根据语言指令和图像合成出照片级真实的视觉演示，为机器人技术提供了强大但尚未充分探索的训练信号来源。然而，直接将生成视频中的像素运动迁移到机器人上会忽略物理规律，往往导致操作不准确。PhysWorld通过将视频生成与物理世界重建相结合来解决这一局限性。给定一张图像和一个任务指令后，我们的方法首先生成与任务相关的视频，并从中重建出底层的物理世界；随后，利用以物体为中心的残差强化学习结合物理世界模型，将生成视频中的运动转化为符合物理规律的精确动作。这种协同机制将隐式的视觉引导转化为可实际执行的机器人运动轨迹，无需收集真实机器人数据，即可实现零样本泛化下的机器人操作。在多种真实世界任务上的实验表明，与以往方法相比，PhysWorld显著提升了操作的准确性。更多细节请访问项目网页：\href{https://pointscoder.github.io/PhysWorld_Web/}{https://pointscoder.github.io/PhysWorld_Web/}。

论文试图解决机器人从生成视频中学习操作任务时缺乏物理准确性的关键问题。现有方法直接将生成视频中的像素运动迁移到机器人控制中，忽略了真实物理规律，导致机械臂执行动作不准确。该问题在当前研究中尚未被充分解决，尤其是在零样本、无需真实机器人数据的情况下实现物理一致的操作规划，具有较强的新颖性。

PhysWorld 的核心思想是将视频生成与物理世界重建相结合：给定一个图像和语言任务指令，先生成任务条件下的视频，然后从中重建出可交互的物理场景模型，并通过以对象为中心的残差强化学习，将视频中的视觉运动转化为符合物理规律的机器人动作。这种视觉-物理协同建模的方法实现了从隐式视觉指导到显式物理执行的转化，是目前少有的将大规模视觉生成模型与具身机器人物理控制深度融合的框架。

实验在多种真实世界操作任务上验证了 PhysWorld 的有效性，展示了其在零样本设置下显著优于现有方法的操纵精度。整个框架无需任何真实机器人数据进行训练，实现了真正的零样本迁移。作者公开了项目网页（https://pointscoder.github.io/PhysWorld_Web/），提供了详细说明，但目前尚未明确开源代码。未来可深入探索物理重建模块的泛化能力、与更复杂动力学系统的结合，以及在多物体、长视野任务中的扩展。

1. Video PreTraining (VPT): Learning to Act by Watching Unlabeled Videos 2. Actionable Models: Action-Conditioned 3D Scene Generation and Manipulation 3. PaLM-E: An Embodied Multimodal Language Model 4. Visual Inertial Navigation as Visual Appearance Matching 5. Dreamer: Building World Models for Reinforcement Learning