Frequency-Aware Gaussian Splatting Decomposition

3D 高斯点绘（3D-GS）以其高效、明确的表示方法革新了新视角合成技术。然而，它缺乏频率可解释性，难以将低频结构与精细细节分开。我们提出了一种分解频率的 3D-GS 框架，该框架将与输入图像拉普拉斯金字塔子带相对应的 3D 高斯分组。我们的方法通过专门的正则化手段，在每个子带（即一组 3D 高斯）内强制执行一致性，从而确保频率成分的良好分离。我们将颜色值扩展到正负范围，使高频层能够添加或减去残差细节。为了稳定优化过程，我们采用了一种渐进式训练方案，以粗到精的方式逐步完善细节。除了提高可解释性外，这种频率感知的设计还解锁了一系列实用优势。明确的频率分离支持高级的 3D 编辑和风格化操作，允许对特定频率带进行精确控制。它还支持动态的细节层次控制，适用于渐进式渲染、流媒体传输、注视点渲染以及快速几何交互等场景。通过广泛的实验，我们证明了我们的方法在场景编辑和交互式渲染等新兴应用中提供了更好的控制力和灵活性。我们的代码将会公开发布。

该论文试图解决3D Gaussian Splatting (3D-GS) 在处理新型视图合成时缺乏频率可解释性的问题，具体表现为难以分离低频结构和高频细节。这并不是一个全新的问题，但针对3D-GS框架中的频率分解尚未有系统性的解决方案。

论文提出了一种基于频率分解的3D-GS框架，将3D高斯分布分组为拉普拉斯金字塔的子带，并通过专门的正则化方法确保每个子带内的相干性。此外，颜色值扩展到正负范围以支持残差细节的加减操作，并采用渐进式训练策略从粗到细优化模型。这种设计增强了对频率成分的显式控制能力。

论文的主要亮点包括：1) 提供了明确的频率分离机制，支持高级3D编辑和风格化；2) 实现动态细节级别控制，适用于渐进渲染、流媒体传输和快速几何交互等场景；3) 通过广泛的实验验证了方法的有效性；4) 承诺开源代码，为后续研究提供便利。未来可以进一步探索更高效的训练策略以及在大规模数据集上的表现。

近期相关研究包括NeRF及其变体（如Instant-NGP）、Point-Based Rendering（如NSVF）和传统基于频率的方法（如Fourier Features）。一些相关的论文标题包括《Frequency Domain Analysis for Neural Radiance Fields》和《Progressive Geometry Processing with Frequency Decomposition》。这些工作主要集中在如何提高渲染效率或增强表达能力，而本文则专注于频率分解与可控性。