DreamPhysics: Learning Physical Properties of Dynamic 3D Gaussians with Video Diffusion Priors

动态3D交互在近期的研究中引起了极大的兴趣，但创建这样的4D内容仍然具有挑战性。一种解决方案是使用基于物理的模拟来动画3D场景，另一种是使用视频生成模型的蒸馏学习静态3D物体的变形。前者需要为目标物体分配精确的物理属性，否则模拟结果会变得不自然。后者往往会因为变形学习中缺乏物理约束而导致视频中出现微小的运动和不连续的帧。我们认为视频生成模型是通过真实世界捕获的数据进行训练的，能够在模拟环境中判断物理现象。因此，在本文中，我们提出了DreamPhysics，它使用视频扩散先验来估计3D高斯点光源的物理属性。DreamPhysics支持图像和文本条件下的指导，通过分数蒸馏采样、帧内插值和对数梯度来优化物理参数。基于适当的物理参数的材料点方法模拟器，我们的方法可以生成具有逼真动作的4D内容。实验结果表明，通过蒸馏视频扩散模型的先验知识，可以逐渐改进不准确的物理属性，实现高质量的模拟。代码发布在：https://github.com/tyhuang0428/DreamPhysics。

如何生成具有真实运动的4D内容？

使用视频扩散先验和物理模拟相结合的方法，通过分数蒸馏采样和帧插值来优化3D高斯光斑的物理参数，从而生成具有真实运动的4D内容。

论文提出了一种名为DreamPhysics的方法，可以根据视频扩散模型的先验知识，逐步优化物理参数以生成高质量的模拟结果。实验中使用了材料点法模拟器和多个数据集，代码已经开源。

近期的相关研究包括：Learning Physics with Neural Networks、Physics-Informed Deep Learning for Nonlinear Partial Differential Equations等。