StopThePop: Sorted Gaussian Splatting for View-Consistent Real-time Rendering

高斯喷洒已成为构建不同领域图像的三维表示的重要模型。然而，三维高斯喷洒渲染管道的效率依赖于几个简化。特别是，将高斯简化为带有单个视图空间深度的2D喷洒在视角旋转期间会引入弹出和混合伪影。解决这个问题需要准确的每像素深度计算，但与全局排序操作相比，完整的每像素排序过程过于昂贵。在本文中，我们提出了一种新的分层光栅化方法，可以系统地重新排序和修剪喷洒，同时具有最小的处理开销。我们的软件光栅化器有效地消除了弹出伪影和视角不一致性，这通过定量和定性测量得到证明。同时，我们的方法减轻了通过弹出实现视角相关效果的潜在问题，确保了更真实的表示。尽管消除了作弊，但我们的方法在测试图像的定量结果方面实现了可比较的结果，同时增加了运动中新视角合成的一致性。由于其设计，我们的分层方法平均仅比原始高斯喷洒慢4％。值得注意的是，强制一致性使高斯数量减少了约一半，而质量和视角一致性几乎相同。因此，渲染性能几乎翻了一倍，使我们的方法比原始高斯喷洒快1.6倍，并且内存要求减少了50％。

论文旨在解决3D高斯喷溅渲染管道中存在的弹出和混合伪影问题，同时提高视图一致性和真实性。

通过一种新的分层光栅化方法，对高斯喷溅进行重新排序和修剪，从而有效地消除了弹出伪影和视图不一致性，同时减少了高斯数量，提高了性能。

论文的实验表明，新的分层光栅化方法可以显著提高3D高斯喷溅渲染管道的视图一致性和真实性，并且可以将高斯数量减少一半，提高性能。论文还开源了代码。

在这个领域中，最近的相关研究包括：'DeepSDF: Learning Continuous Signed Distance Functions for Shape Representation'、'NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis'、'PixelNeRF: Neural Radiance Fields from One or Few Images Using Pixel-wise Learned Features'等。