LP-3DGS: Learning to Prune 3D Gaussian Splatting

最近，由于其高质量和快速渲染速度，3D高斯点渲染（3D Gaussian Splatting，3DGS）已成为新视角合成（NVS）的主流方法之一。然而，作为一种基于点的场景表示方法，3DGS可能会生成大量的高斯函数来适应场景，导致内存使用率高。已经提出的改进方法要么需要经验性和预设的修剪比率，要么需要重要度得分阈值来修剪点云。这些超参数需要多轮训练来优化并实现最大的修剪比率，同时保持每个场景的渲染质量。在这项工作中，我们提出了学习修剪3DGS（LP-3DGS），其中可训练的二进制掩码应用于重要度得分，可以自动找到最佳的修剪比率。我们重新设计了掩码函数，利用Gumbel-Sigmoid方法，使其可微分并与现有的3DGS训练过程兼容，而不是使用传统的直通估计器（STE）方法来近似二进制掩码梯度。广泛的实验表明，LP-3DGS始终产生了高效和高质量的良好平衡。

本文旨在解决3D高斯喷洒（3DGS）在场景表示中可能产生大量高斯函数从而导致内存使用过高的问题，同时尝试找到一种自动寻找最佳剪枝比率的解决方案。

本文提出了一种学习剪枝的3DGS（LP-3DGS）方法，通过对重要性分数应用可训练的二进制掩码来自动寻找最佳剪枝比率。与传统的STE方法不同，本文利用Gumbel-Sigmoid方法重新设计了掩码函数，使其可微分并与现有的3DGS训练过程兼容。

本文的亮点包括：1. 提出了一种自动寻找最佳剪枝比率的解决方案；2. 利用Gumbel-Sigmoid方法重新设计了掩码函数，使其可微分并与现有的3DGS训练过程兼容；3. 实验结果表明，LP-3DGS在效率和质量方面都能取得良好的平衡。

最近在这个领域中的相关研究包括：PointSplatting Reconstruction with Volumetric Signatures、DeepSDF、Implicit Functions in Feature Space等。