Compact 3D Gaussian Splatting for Static and Dynamic Radiance Fields

3D高斯喷洒（3DGS）是一种新兴的替代表示法，它利用基于3D高斯的表示法，引入了近似的体积渲染，实现了非常快速的渲染速度和有前途的图像质量。此外，随后的研究已经成功地将3DGS扩展到动态3D场景，展示了其广泛的应用。然而，一个重要的缺点是，3DGS及其后续方法需要大量的高斯点来保持渲染图像的高保真度，这需要大量的内存和存储空间。为了解决这个关键问题，我们特别强调两个关键目标：在不牺牲性能的情况下减少高斯点的数量和压缩高斯属性，例如视角相关的颜色和协方差。为此，我们提出了一种可学习的掩模策略，可以显著减少高斯点的数量，同时保持高性能。此外，我们通过使用基于网格的神经场而不是依赖于球谐函数来提供紧凑而有效的视角相关颜色表示。最后，我们通过残差向量量化学习码书来紧凑地表示几何和时间属性。通过模型压缩技术，如量化和熵编码，我们在静态场景中始终显示出比3DGS更高的存储效率和增强的渲染速度，同时保持场景表示的质量。对于动态场景，我们的方法实现了超过12倍的存储效率，并保持与现有最先进方法相比的高质量重建。我们的工作为3D场景表示提供了全面的框架，实现了高性能、快速训练、紧凑和实时渲染。我们的项目页面位于https://maincold2.github.io/c3dgs/。

论文旨在解决3D场景表示中的存储和渲染效率问题，通过减少高斯点的数量和压缩高斯属性来实现。

论文提出了一种可学习的掩码策略，可以显著减少高斯数量而不影响性能，并通过使用基于网格的神经场来紧凑但有效地表示视角相关颜色。此外，通过学习码书来紧凑地表示几何和时间属性，结合量化和熵编码等模型压缩技术，实现了高效存储和实时渲染。

论文实现了高效的3D场景表示，通过模型压缩技术实现了25倍以上的存储效率和增强的渲染速度。对于动态场景，相比现有的最先进方法，实现了12倍以上的存储效率和高质量的重构。论文提供了一个全面的框架，实现了高性能、快速训练、紧凑性和实时渲染。

在最近的相关研究中，还有一些关于3D场景表示的工作，例如《DeepVoxels: Learning Persistent 3D Feature Embeddings》和《NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis》。