LightGaussian: Unbounded 3D Gaussian Compression with 15x Reduction and 200+ FPS

最近，使用基于点的技术进行实时神经渲染的进展为广泛采用3D表示铺平了道路。然而，像3D高斯喷洒这样的基础方法会带来大量的存储开销，因为将SfM点增长到数百万，通常需要单个无界场景的千兆字节级磁盘空间，从而带来了重大的可扩展性挑战并阻碍了喷洒效率。为了解决这个挑战，我们介绍了LightGaussian，这是一种新颖的方法，旨在将3D高斯转换为更有效和紧凑的格式。从网络剪枝的概念中汲取灵感，LightGaussian识别对场景重建没有贡献的高斯，并采用剪枝和恢复过程，有效地减少了高斯数量中的冗余，同时保留了视觉效果。此外，LightGaussian采用蒸馏和伪视图增强来将球谐函数蒸馏到更低的程度，使知识转移到更紧凑的表示中，同时保持反射率。此外，我们提出了一种混合方案VecTree Quantization，用于量化所有属性，从而得到具有最小精度损失的低位宽表示。总之，LightGaussian实现了平均压缩率超过15倍，同时将FPS从139提高到215，使Mip-NeRF 360、坦克和寺庙数据集上的复杂场景得到了有效的表示。项目网站：https://lightgaussian.github.io/。

本论文旨在解决基于点的3D表示中，3D高斯点扩散方法所带来的存储开销问题，提出一种更高效、更紧凑的3D高斯点扩散方法。

论文提出了一种名为LightGaussian的新方法，通过剪枝、降阶、量化等方式，将3D高斯点扩散方法转化为更紧凑的格式，从而大幅减少存储开销，同时保持场景重建的视觉效果。

论文使用了Mip-NeRF 360、Tank和Temple等数据集进行实验，证明了LightGaussian方法相较于传统的3D高斯点扩散方法，可以实现平均15倍的压缩率，并将FPS从139提升至215。论文还使用了VecTree量化等技术，进一步提高了效率和紧凑性。论文提供了开源代码。

相关研究包括：Gaussian Splatting、Network Pruning、NeRF、DeepSDF等。