Compact 3D Gaussian Representation for Radiance Field

神经辐射场（NeRFs）已经展现出在捕捉具有高保真度的复杂三维场景方面的显著潜力。然而，由于体积渲染，计算瓶颈一直是阻碍NeRFs广泛采用的一个持久性挑战。另一方面，最近出现的三维高斯点渲染（3DGS）作为一种替代表示法，利用三维基于高斯的表示法，并采用光栅化管线来渲染图像，实现了非常快的渲染速度和有前途的图像质量。然而，3DGS存在一个显著的缺点，即需要大量3D高斯点来保持渲染图像的高保真度，这需要大量的内存和存储空间。为了解决这个关键问题，我们着重于两个关键目标：减少高斯点的数量，而不牺牲性能，并压缩高斯属性，例如视角相关的颜色和协方差。为此，我们提出了一种可学习的掩膜策略，显著减少了高斯点的数量，同时保持了高性能。此外，我们通过使用基于网格的神经场而不是依赖于球谐函数来实现紧凑而有效的视角相关颜色表示。最后，我们通过向量量化学习码本来紧凑地表示高斯的几何属性。在我们广泛的实验中，与3DGS相比，我们始终展示了超过10倍的减少存储和增强渲染速度，同时保持了场景表示的质量。我们的工作提供了一个全面的三维场景表示框架，实现了高性能、快速训练、紧凑和实时渲染。我们的项目页面可在https://maincold2.github.io/c3dgs/上找到。

论文试图解决NeRF的计算瓶颈问题，提出一种基于3D高斯光滑的快速渲染方法。同时，还试图减少高斯点的数量和压缩高斯属性，以达到更高的存储效率。

论文提出了一种可学习的掩模策略，通过减少高斯点的数量来提高性能。同时，采用基于网格的神经场来紧凑有效地表示视角相关的颜色，通过向量量化学习码本来表示高斯的几何属性。

该论文实现了高性能、快速训练、紧凑、实时渲染等多方面的综合框架。实验表明，相比于3DGS，该方法能够实现超过10倍的存储降低和渲染速度提升，同时保持场景表示的质量。论文还开源了代码和使用的数据集。

在这个领域中，还有一些相关的研究，如《NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis》、《GRAF: Generative Radiance Fields for 3D-Aware Image Synthesis》等。