PhysWorld: From Real Videos to World Models of Deformable Objects via Physics-Aware Demonstration Synthesis

能够模拟物体动态的交互式世界模型对于机器人技术、虚拟现实（VR）和增强现实（AR）至关重要。然而，从有限的真实世界视频数据中学习符合物理规律的动力学模型仍是一个重大挑战，尤其是对于具有空间变化物理特性的可变形物体而言。为应对数据稀缺的难题，我们提出了PhysWorld——一种新颖的框架，利用仿真器合成物理上合理且多样化的演示数据，以高效学习世界模型。具体而言，我们首先在MPM仿真器内通过本构模型选择以及物理属性的全局到局部优化，构建一个符合物理规律的数字孪生体；随后，对物理属性施加部件感知的扰动，生成该数字孪生体的多种运动模式，从而合成大量且多样的训练数据；最后，利用这些合成数据训练一个基于轻量级图神经网络（GNN）的世界模型，并将物理属性嵌入其中。真实视频还可用于进一步优化物理参数。PhysWorld能够对多种可变形物体实现准确且快速的未来状态预测，并能良好泛化至新类型的交互场景。实验表明，PhysWorld性能媲美当前先进方法，推理速度较最新的最先进方法PhysTwin快47倍。

论文试图解决从有限的真实世界视频数据中学习可变形物体（具有空间变化物理属性）的物理一致动态模型的问题。这是一个具有挑战性的新问题，因为真实世界的数据稀缺，且可变形物体的物理行为复杂、非刚性，难以建模。

提出PhysWorld框架，通过在MPM（物质点法）模拟器中构建物理一致的数字孪生体，并利用从全局到局部的物理属性优化和部分感知扰动生成大量多样化的合成数据，从而训练一个轻量级的图神经网络（GNN）世界模型。关键创新在于结合仿真生成多样化训练数据，并将物理属性嵌入模型，实现从少量真实视频中高效学习和精细化调整。

实验表明，PhysWorld在预测精度和泛化能力上表现优异，尤其能处理新颖交互；相比最新方法PhysTwin，推理速度快47倍；使用真实视频进行物理属性微调，增强了现实一致性；虽然未明确提及开源代码，但其基于MPM仿真与GNN的设计为后续研究提供了清晰路径，值得进一步探索多材料、多模态交互及闭环控制应用。

相关研究包括：'PhysTwin: Physics-Based Neural Scene Representation for Robotic Manipulation'（2023），'Learning Deformable Object Dynamics with Graph Networks'（2022），'Material-Aware Neural Simulation'（2023），'Digital Twins for Soft Robotics via Differentiable Physics'（2022），以及'MPM-GNN: Learning Material Dynamics with Material Point Method and Graph Networks'（2023）。这些工作共同推动了基于物理的神经建模与机器人交互仿真发展。