Octree-GS: Towards Consistent Real-time Rendering with LOD-Structured 3D Gaussians

最近的3D高斯喷洒（3D-GS）相较于基于NeRF的神经场景表示，已经展示出了卓越的渲染保真度和效率。虽然展示了实时渲染的潜力，但在具有复杂细节的大场景中，由于视野内存在过多的高斯原语，3D-GS遇到了渲染瓶颈。这种限制在缩小视图时尤为明显，并且在具有不同细节的场景中往往难以捕捉相应的细节水平。此外，它常常难以通过启发式密度控制操作来捕捉不同尺度的相应细节水平。受级别细节（LOD）技术的启发，我们引入了Octree-GS，它具有支持场景表示的级别细节分解的LOD结构化3D高斯方法，有助于最终的渲染结果。我们的模型从多分辨率锚点集中动态选择适当的级别，确保自适应LOD调整下的一致渲染性能，同时保持高保真度的渲染结果。

论文试图解决在大场景中使用3D Gaussian splatting（3D-GS）时的性能瓶颈问题，尤其是在缩小视图时无法保持一致的渲染速度和细节捕捉问题。

论文提出了Octree-GS，一种基于LOD结构的3D Gaussian方法，支持场景表示的LOD分解，并动态选择适当的层级，以实现自适应LOD调整和高保真度的渲染结果。

Octree-GS在大场景中具有高效的渲染性能和高保真度的渲染结果。论文使用了多个数据集进行实验，并与其他方法进行了比较。论文还开源了代码。

近期的相关研究包括《NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis》和《GRAF: Generative Radiance Fields for 3D-Aware Image Synthesis》。