PUP 3D-GS: Principled Uncertainty Pruning for 3D Gaussian Splatting

最近新型视角合成技术实现了实时渲染速度和高重建精度。3D高斯点插值（3D-GS）是一种基于点的参数化3D场景表示法，将场景建模为大量3D高斯函数集合。复杂场景可能包含数百万个高斯函数，导致存储和内存需求巨大，限制了3D-GS在资源有限的设备上的可行性。目前的压缩预训练模型的技术依赖于结合启发式方法来确定要删除的高斯函数。本文提出了一种基于空间敏感性剪枝分数的原则性方法，优于这些方法。它是基于对每个高斯函数的空间参数的训练视图的重建误差的二阶近似计算的。此外，我们提出了一种多轮剪枝-精化流程，可应用于任何预先训练的3D-GS模型，而不改变训练流程。在剪枝了88.44％的高斯函数后，我们观察到我们的PUP 3D-GS流程将3D-GS的平均渲染速度提高了2.65倍，同时保留了更显著的前景信息，并在Mip-NeRF 360、Tanks＆Temples和Deep Blending数据集的场景中实现了更高的图像质量度量。

本论文旨在解决3D-GS模型在存储和内存方面的限制，通过剪枝算法减少高斯函数数量，提高模型的渲染速度和图像质量。

论文提出了一种基于空间敏感度的剪枝评分方法，并提出了一个多轮剪枝-精化流程，可以应用于任何已训练的3D-GS模型，而不需要改变训练流程。

本论文提出的PUP 3D-GS流程可以将高斯函数数量减少88.44%，同时提高了平均渲染速度2.65倍，保留了更多显著的前景信息并实现了更高的图像质量指标。实验使用了Mip-NeRF 360、Tanks & Temples和Deep Blending数据集。

与本论文相关的研究包括基于剪枝的模型压缩算法，如Deep Compression、Dynamic Network Surgery、AMC等。