SAGS: Structure-Aware 3D Gaussian Splatting

在NeRF问世之后，3D高斯点插值（3D-GS）为实时神经渲染铺平了道路，克服了体积法计算负担的问题。在3D-GS的开创性工作之后，一些方法试图实现可压缩和高保真性能的替代方案。然而，这些方法采用几何无关的优化方案，忽略了场景固有的3D结构，因此限制了表达能力和表示质量，导致各种浮点和伪影。在本研究中，我们提出了一种结构感知的高斯点插值方法（SAGS），它隐式编码了场景的几何结构，反映了最先进的渲染性能和降低了基准新视角合成数据集的存储要求。SAGS基于一个局部-全局图表示，有助于学习复杂场景，并强制执行保持场景几何的有意义的点位移。此外，我们介绍了SAGS的轻量级版本，使用简单而有效的中点插值方案，展示了场景的紧凑表示，可实现高达24倍的大小缩减，而不依赖于任何压缩策略。在多个基准数据集上的广泛实验表明，与最先进的3D-GS方法相比，SAGS在渲染质量和模型大小方面具有优越性。此外，我们证明了我们的结构感知方法可以有效地减轻以前方法的浮点伪影和不规则畸变，并获得精确的深度图。项目页面https://eververas.github.io/SAGS/。

本文旨在解决实时神经渲染中的计算负担和体积方法的限制性问题，提出了一种结构感知的高斯喷洒方法（SAGS），以实现高保真度和压缩性能的表现。

本文提出了一种基于局部-全局图表示的结构感知高斯喷洒方法（SAGS），通过隐式编码场景的几何结构来提高表现和减少存储要求，并引入了一种轻量级版本，使用简单而有效的中点插值方案，实现了高达24倍的场景尺寸缩小，无需依赖任何压缩策略。

本文的亮点包括：1. 提出了一种结构感知的高斯喷洒方法，通过局部-全局图表示来学习复杂场景并保留场景几何结构；2. 引入了一种轻量级版本，实现了高达24倍的场景尺寸缩小；3. 在多个基准数据集上进行了广泛的实验，证明了SAGS相对于现有3D-GS方法在渲染质量和模型大小方面的优越性；4. SAGS可以有效地缓解之前方法的浮点和畸变问题，同时获得精确的深度图。

近期的相关研究包括NeRFs、3D-GS等方法，以及一些压缩和减少计算负担的方法，如Neural Radiance Fields with Efficient Fourier Features (NeRF-EFF)和FastNeRF等。