Reducing the Memory Footprint of 3D Gaussian Splatting

3D高斯点渲染在新视角合成方面提供了出色的视觉效果，具有快速训练和实时渲染的特点；不幸的是，这种方法在存储和传输方面的内存需求过高。我们首先分析了造成这种情况的原因，确定了可以减少存储的三个主要领域：用于表示场景的3D高斯基元的数量、用于表示方向辐射度的球谐系数的数量以及存储高斯基元属性所需的精度。我们针对每个问题提出了解决方案。首先，我们提出了一种高效的、分辨率感知的基元修剪方法，将基元数量减少了一半。其次，我们引入了一种自适应调整方法，为每个高斯基元选择用于表示方向辐射度的系数数量，最后采用基于码本的量化方法，结合半浮点表示以进一步减少内存。这三个组件的综合效果是，在我们测试的标准数据集上，总体磁盘大小减少了27，同时渲染速度提高了1.7倍。我们在标准数据集上演示了我们的方法，并展示了我们的解决方案在移动设备上使用时显著减少的下载时间。

解决问题：降低3D高斯喷洒方法在存储和传输方面的内存需求

关键思路：通过减少高斯原语数量、使用自适应调整方法选择表示方向辐射度的系数数量以及使用码书量化方法和半浮点表示来降低存储需求

其他亮点：论文提出了有效的分辨率感知原语修剪方法、自适应调整方法和码书量化方法，使得存储需求减少27％，渲染速度提高1.7倍；实验展示了该方法在标准数据集上的效果，并展示了在移动设备上使用该方法可以显著降低下载时间。

相关研究：该领域的其他相关研究包括《DeepView：在视点合成中使用深度学习的高质量3D重建和纹理映射》、《3D视点合成的深度学习方法》等。