Per-Gaussian Embedding-Based Deformation for Deformable 3D Gaussian Splatting

由于3D高斯光斑（3DGS）提供了快速和高质量的新视角综合，将一个经典的3DGS扩展到多帧是一种自然的扩展。然而，以前的工作未能准确地重建动态场景，特别是1）静态部分沿着附近的动态部分移动，和2）一些动态区域模糊。我们将这种失败归因于变形场的错误设计，这是一个基于坐标的函数。这种方法存在问题，因为3DGS是多个以高斯为中心的场的混合，而不仅仅是单个基于坐标的框架。为了解决这个问题，我们将变形定义为每个高斯嵌入和时间嵌入的函数。此外，我们将变形分解为粗略变形和细微变形，以分别模拟慢速和快速运动。此外，我们引入了一种有效的训练策略，以实现更快的收敛和更高的质量。项目页面：https://jeongminb.github.io/e-d3dgs/

解决问题：论文试图解决多帧3D高斯喷溅（3DGS）变形的问题，特别是在重建动态场景方面存在的困难，如静态部分沿着附近的动态部分移动以及一些动态区域模糊不清。

关键思路：将变形定义为每个高斯嵌入和时间嵌入的函数，并将变形分解为粗略和细微的变形以模拟慢速和快速运动，从而解决了以前的问题。

其他亮点：论文提出了高斯喷溅变形的新方法，实验结果表明该方法在重建动态场景方面表现出色。论文还介绍了一个高效的训练策略以加快收敛速度和提高质量。开源代码和数据集可以在项目页面上找到。

相关研究：在这个领域中，最近的相关研究包括DeepVoxels、NeRF和D-NeRF等。