Compressed 3D Gaussian Splatting for Accelerated Novel View Synthesis

最近，一种使用优化的三维高斯点状表示进行高保真场景重建的方法被引入，用于从稀疏图像集合中合成新视角。使这种表示适用于网络流媒体和低功耗设备上的渲染需要大大降低内存消耗并提高渲染效率。我们提出了一种压缩的三维高斯点状表示，利用感知度感知向量聚类和量化感知训练来压缩方向颜色和高斯参数。学习得到的码本具有低比特率，在仅轻微降低视觉质量的情况下，可以在真实场景中达到高达31倍的压缩率。我们展示了压缩的点状表示可以在轻量级GPU上通过硬件光栅化高效渲染，帧率比通过优化的GPU计算管道报告的帧率高4倍。在多个数据集上进行的大量实验证明了所提出方法的鲁棒性和渲染速度。

本论文旨在解决高保真场景重建的内存消耗和渲染效率问题，提出了一种压缩的3D高斯点阵表示方法。

该方法利用灵敏度感知向量聚类和量化感知训练来压缩方向颜色和高斯参数，学习到的码本具有低比特率，可以在最小降低视觉质量的情况下实现高达31倍的压缩率。

该方法能够在轻量级GPU上进行高效渲染，比优化后的GPU计算管道提高了4倍的帧率。实验表明该方法具有鲁棒性和渲染速度，并且可以在多个数据集上进行广泛的实验。

最近的相关研究包括：《DeepSDF: Learning Continuous Signed Distance Functions for Shape Representation》、《Neural Volumes: Learning Dynamic Renderable Volumes from Images》等。