PhysDreamer: Physics-Based Interaction with 3D Objects via Video Generation

真实的物体互动对于创造沉浸式的虚拟体验至关重要，但是合成对新型互动的真实3D物体动态仍然是一个重要的挑战。与无条件或文本条件的动态生成不同，动作条件的动态需要感知物体的物理材料属性，并将3D运动预测基于这些属性，例如物体的刚度。然而，由于缺乏物质基础数据，估计物理材料属性是一个开放的问题，因为对于真实物体来说，测量这些属性是非常困难的。我们提出了PhysDreamer，这是一种基于物理学的方法，通过利用视频生成模型学习到的物体动力学先验知识，赋予静态3D物体互动动态。通过提炼这些先验知识，PhysDreamer可以合成对新型互动的真实物体响应，例如外部力或代理操作。我们在弹性物体的不同示例上演示了我们的方法，并通过用户研究评估了合成互动的真实性。PhysDreamer通过使静态3D物体以物理合理的方式动态响应互动刺激，迈向了更加引人入胜和真实的虚拟体验。请访问我们的项目页面https://physdreamer.github.io/。

如何在虚拟体验中实现逼真的物体交互动态？由于缺乏物质真实性数据，估计物理材料特性是一个开放性问题。

使用视频生成模型学习物体动态先验知识，利用这些先验知识赋予静态3D物体交互动态，从而合成对新型交互的逼真响应。

通过用户研究评估合成交互的逼真程度。该方法为虚拟体验中实现逼真的物体交互动态提供了一种新思路。

最近的相关研究包括使用深度学习方法进行物理模拟和动态合成，以及使用视觉推理方法进行物体属性估计。相关论文包括《DeepMimic: Example-Guided Deep Reinforcement Learning of Physics-Based Character Skills》和《Visual Object Networks: Image Generation with Disentangled 3D Representations》。