Physically Embodied Gaussian Splatting: A Realtime Correctable World Model for Robotics

为了使机器人能够稳健地理解和与物理世界交互，拥有一个全面的表示方式（模拟几何、物理和视觉观察）对于感知、规划和控制算法都非常有益。我们提出了一种新颖的双高斯-粒子表示法，它可以模拟物理世界，同时（i）实现对未来状态的预测模拟，（ii）允许在动态世界中从视觉观察中进行在线修正。我们的表示法包括粒子，用于捕捉世界中物体的几何方面，并可与基于粒子的物理系统一起使用，以预测具有物理可信度的未来状态。这些粒子附加了3D高斯函数，通过平面投影过程呈现任何视角的图像，从而捕捉视觉状态。通过比较预测图像和观察图像，我们的方法生成视觉力，以在尊重已知物理约束的同时纠正粒子位置。通过将预测物理建模与连续的视觉修正相结合，我们的统一表示法可以推理现在和未来，并与现实同步。我们的系统只使用3个相机，以每秒30帧的速度实时运行。我们在2D和3D跟踪任务以及光度重建质量上验证了我们的方法。视频可以在https://embodied-gaussians.github.io/找到。

论文提出了一种新的双高斯-粒子表示法，旨在解决机器人在理解和与物理世界交互时所需的全面表示问题。该方法可以预测物理世界的未来状态，并通过视觉观察进行在线纠正，以更好地适应动态环境。

论文提出的双高斯-粒子表示法将粒子和高斯分布相结合，既可以捕捉物体的几何特征，又可以通过高斯分布渲染图像，从而实现预测和纠正的结合。该方法能够在保持物理约束的同时，通过比较预测和观察到的图像来生成视觉力，从而纠正粒子位置。

该方法在仅使用3个相机的情况下，可以实时运行，每秒30帧。论文在2D和3D跟踪任务以及光度重建质量方面验证了该方法的有效性。此外，论文还提供了开源代码和视频。

相关研究包括：Visual Foresight，Visual MPC，以及基于粒子的物理模拟等。