Superpoint Gaussian Splatting for Real-Time High-Fidelity Dynamic Scene Reconstruction

在动态场景中生成新视角图像是一项至关重要但具有挑战性的任务。目前的方法主要利用基于NeRF的方法来表示静态场景，并使用额外的时变MLP来模拟场景变形，导致渲染质量相对较低且推理速度较慢。为了解决这些挑战，我们提出了一个名为Superpoint Gaussian Splatting (SP-GS)的新框架。具体来说，我们的框架首先使用显式的3D高斯函数重建场景，然后将具有相似属性（例如旋转、平移和位置）的高斯函数聚类成超级点。借助这些超级点，我们的方法仅略微增加计算开销即可将3D高斯喷洒扩展到动态场景。除了在高分辨率下实现最先进的视觉质量和实时渲染外，超级点表示还提供了更强的操作能力。广泛的实验证明了我们的方法在合成和真实世界数据集上的实用性和有效性。请参见我们的项目页面：https://dnvtmf.github.io/SP_GS.github.io。

论文旨在解决动态场景中高质量渲染的挑战，包括场景变形建模和实时渲染速度等问题。

论文提出了一种名为Superpoint Gaussian Splatting (SP-GS)的框架，首先使用显式的3D高斯函数重建场景，然后将具有相似属性（如旋转、平移和位置）的高斯函数聚类成超级点，从而实现对动态场景的高质量渲染和实时渲染。

该方法在高分辨率下实现了最先进的视觉质量和实时渲染，超级点表示提供了更强的操作能力，实验使用了合成和真实数据集，且有开源代码。

在当前领域中，基于NeRF的方法和使用MLP建模场景变形的方法是主流，但SP-GS方法通过超级点表示实现了更高的渲染质量和更快的渲染速度。