SC-GS: Sparse-Controlled Gaussian Splatting for Editable Dynamic Scenes

动态场景的新视角综合仍然是计算机视觉和图形学中的一个具有挑战性的问题。最近，高斯喷洒技术已经成为一种强大的技术，可以表示静态场景并实现高质量和实时的新视角综合。在此技术的基础上，我们提出了一种新的表示方法，将动态场景的运动和外观显式地分解为稀疏的控制点和密集的高斯函数。我们的关键思想是使用稀疏的控制点来学习紧凑的6个自由度变换基础，这些基础的数量明显少于高斯函数的数量，可以通过学习的插值权重进行局部插值，从而产生3D高斯函数的运动场。我们使用变形MLP预测每个控制点的时变6自由度变换，这减少了学习复杂性，增强了学习能力，并有助于获得时间和空间连续的运动模式。然后，我们联合学习3D高斯函数、控制点的规范空间位置和变形MLP，以重建3D场景的外观、几何和动态特性。在学习过程中，控制点的位置和数量会自适应地调整，以适应不同区域的运动复杂性，并开发了一个ARAP损失来强制执行学习运动的空间连续性和局部刚性。最后，由于显式的稀疏运动表示及其从外观分解出来的特性，我们的方法可以在保留高保真度外观的同时实现用户控制的运动编辑。大量实验证明，我们的方法在新视角综合方面表现优于现有方法，具有高渲染速度，并且可以实现新颖的保留外观的运动编辑应用。项目页面：https://yihua7.github.io/SC-GS-web/

论文旨在解决动态场景的新视角合成问题，提出了一种新的场景表示方法，能够同时重构场景的外观、几何和动态。

论文提出了一种显式的稀疏运动表示方法，将场景的运动和外观分解为稀疏控制点和密集的高斯函数。通过学习6自由度变换基，可以通过学习插值权重来局部插值，从而得到3D高斯函数的运动场。使用变形MLP来预测每个控制点的时变6自由度变换，从而减少学习复杂性，增强学习能力，并便于获得时间和空间连续的运动模式。

论文使用自适应的控制点数量和位置来适应不同区域的运动复杂性，使用ARAP损失来强制执行空间连续性和局部刚性。此外，该方法能够支持用户控制的运动编辑，同时保留高保真度的外观。实验结果表明，该方法在新视角合成方面优于现有方法，并能够实现高速渲染和新颖的外观保留运动编辑应用。

近期的相关研究包括：《DeepSDF: Learning Continuous Signed Distance Functions for Shape Representation》、《NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis》、《Neural Scene Flow Fields for Space-Time View Synthesis of Dynamic Scenes》等。