End-to-End Rate-Distortion Optimized 3D Gaussian Representation

3D高斯喷洒（3DGS）已成为一种具有显着潜力的3D表示和图像渲染技术。然而，3DGS的实际应用受到存储开销的显著影响。在这项工作中，我们将紧凑的3D高斯学习制定为端到端的速率失真优化（RDO）问题，并提出了可以实现灵活和连续速率控制的RDO-Gaussian。RDO-Gaussian解决了当前方案存在的两个主要问题：1）与以往的努力不同，以固定失真为前提，我们引入动态修剪和熵约束向量量化（ECVQ），同时优化速率和失真。2）以前的工作将每个高斯的颜色视为相等，而我们使用可学习参数的数量对不同区域和材料的颜色进行建模。我们在真实场景和合成场景上验证了我们的方法，展示了RDO-Gaussian将3D高斯的大小大大降低了40倍以上，并在速率失真性能方面超越了现有方法。

本论文旨在解决3D Gaussian Splatting（3DGS）在实际应用中存储开销大的问题。

该论文提出了RDO-Gaussian，将紧凑的3D高斯学习作为端到端的速率失真优化问题来解决存储开销问题。

RDO-Gaussian引入动态修剪和熵约束向量量化（ECVQ）来同时优化速率和失真；该方法对不同区域和材料的颜色进行建模，具有学习的参数数量；在真实和合成场景上进行验证，将3D高斯大小减小了40倍以上，并在速率失真性能上超过了现有方法。

最近的相关研究包括：《Learning to Fuse 3D Shape Completeness with Image Cues》、《DeepSDF: Learning Continuous Signed Distance Functions for Shape Representation》等。