Compact 3D Gaussian Representation for Radiance Field

神经辐射场（NeRFs）在捕捉高保真度的复杂3D场景方面表现出了显著的潜力。然而，由于体积渲染，计算瓶颈一直是阻碍NeRFs广泛采用的持久挑战之一。另一方面，最近出现了一种名为三维高斯喷洒（3DGS）的替代表示形式，它利用了基于3D高斯的表示形式，并采用光栅化管道来渲染图像，从而实现了非常快速的渲染速度和有前途的图像质量。然而，3DGS存在一个重大缺点，即需要大量的3D高斯来维护渲染图像的高保真度，这需要大量的内存和存储空间。为了解决这个关键问题，我们特别强调两个关键目标：在不牺牲性能的情况下减少高斯点的数量和压缩高斯属性，如视角相关的颜色和协方差。为此，我们提出了一种可学习的掩码策略，显著减少了高斯数量，同时保持了高性能。此外，我们通过采用基于网格的神经场而不是依赖于球谐函数来实现紧凑而有效的视角相关颜色表示。最后，我们通过向量量化学习码书来紧凑地表示高斯的几何属性。通过模型压缩技术，如量化和熵编码，我们始终显示出超过25倍的存储空间减少和增强的渲染速度，同时保持场景表示的质量，与3DGS相比。我们的工作为3D场景表示提供了一个全面的框架，实现了高性能、快速训练、紧凑性和实时渲染。我们的项目页面可在https://maincold2.github.io/c3dgs/上找到。

减少3D高斯散点（3D Gaussian splatting）的数量，以提高计算效率和存储空间利用率。

采用可学习的掩码策略来减少高斯点的数量，采用基于网格的神经场来压缩视角相关的颜色属性，采用向量量化的编码方式来压缩高斯的几何属性。

论文提出了一种综合框架，通过模型压缩技术实现了超过25倍的存储空间减少和增强的渲染速度，同时保持了场景表示的质量。实验表明，该方法在3D场景表示中具有高性能、快速训练、紧凑性和实时渲染等优点。

相关研究包括NeRF和3D高斯散点等。