Latent Intuitive Physics: Learning to Transfer Hidden Physics from A 3D Video

我们介绍了一种称为“潜在直觉物理”的转移学习框架，用于物理模拟，可以从单个3D视频中推断出流体的隐藏属性，并在新场景中模拟观察到的流体。我们的关键洞察是使用从可学习的先验分布中提取的潜在特征，该先验分布是以基础粒子状态为条件的，以捕捉不可见和复杂的物理特性。为了实现这一点，我们训练了一个参数化的先验学习器，给定视觉观察来近似反向图形的视觉后验概率，粒子状态和视觉后验概率都是从学习的神经渲染器中获得的。收敛的先验学习器嵌入在我们的概率物理引擎中，使我们能够在没有真实物理参数知识的情况下对未见过的几何形状、边界和动态进行新颖的模拟。我们通过三种方式验证了我们的模型：（i）使用学习的视觉世界物理进行新颖场景模拟，（ii）预测观察到的流体动力学的未来，以及（iii）受监督的粒子模拟。我们的模型在所有三个任务中都表现出了强大的性能。

本论文试图通过使用一个可转移的学习框架来解决物理模拟中的难点，即从单个三维视频中推断流体的隐藏属性并在新场景中模拟观察到的流体。

本论文的关键思路是使用从可学习的先验分布中提取的潜在特征来捕捉不可见和复杂的物理属性。通过训练一个参数化的先验学习器，来近似于逆图形的视觉后验概率，并从一个学习的神经渲染器中得到粒子状态和视觉后验概率。这个收敛的先验学习器嵌入在我们的概率物理引擎中，使我们能够在没有真实物理参数的情况下对未见的几何形状、边界和动态进行新颖的模拟。

本文通过三种方式验证了模型：（i）使用学习的视觉-世界物理学进行新颖场景模拟，（ii）预测观察到的流体动力学的未来，（iii）监督粒子模拟。实验表明，该模型在所有三个任务中表现出了强大的性能。

最近在这个领域中，还有一些相关的研究，例如：End-to-End Learning of Physics Models with Learned Differentiable Priors, Differentiable Physics Simulation for Unseen Object Categories with Generalization Guarantees, Learning Particle Dynamics for Manipulating Rigid Bodies,等。