MD-Splatting: Learning Metric Deformation from 4D Gaussians in Highly Deformable Scenes

在高度可变形、存在遮挡和阴影的场景下进行精确的三维跟踪可以促进机器人、增强现实和生成式人工智能等领域的新应用。然而，在这些条件下进行跟踪是极具挑战性的，因为大变形、阴影和遮挡会导致歧义。我们介绍了MD-Splatting，这是一种同时进行三维跟踪和新视角合成的方法，使用从各种摄像机位置拍摄的动态场景视频。MD-Splatting基于高斯喷洒的最新进展，该方法学习了大量高斯函数的属性，用于最先进和快速的新视角合成。MD-Splatting学习了一个变形函数，将具有非度量、因此是规范的属性的高斯函数集投影到度量空间中。变形函数使用神经体素编码和多层感知器（MLP）来推断高斯位置、旋转和阴影标量。我们基于局部刚性、动量守恒和等距性的物理启发式正则化项，从而得到具有更小轨迹误差的轨迹。MD-Splatting在存在阴影和遮挡的高度可变形场景中实现了高质量的三维跟踪。与最先进的方法相比，我们平均提高了23.9%的三维跟踪精度，同时实现了高质量的新视角合成。在具有足够纹理的场景6中，MD-Splatting在大小为1 x 1米的布料上实现了3.39毫米的中位跟踪误差。项目网站：https://md-splatting.github.io/。

解决问题：论文试图解决高度可变形场景中的精确3D跟踪和新视角合成问题，包括阴影和遮挡等挑战。这是一个新问题。

关键思路：MD-Splatting是一种基于高斯喷洒的方法，结合神经体素编码和多层感知器来学习非度量的高斯性质，并将其映射到度量空间中。该方法通过物理启发的正则化项来实现高质量的3D跟踪，包括局部刚性、动量守恒和等距性等。相比当前领域的研究，该论文的方法在高度可变形场景中实现了更高质量的3D跟踪和新视角合成。

其他亮点：论文在多个数据集上进行了实验，包括高度可变形的布料、人体和手等场景，并且在所有场景中都实现了比现有方法更高的3D跟踪精度。此外，该论文还提供了开源代码和项目网站。

相关研究：最近在这个领域中，还有一些相关研究，包括“DeepSDF：Learning Continuous Signed Distance Functions for Shape Representation”和“Neural Volumes: Learning Dynamic Renderable Volumes from Images”。