DNGaussian: Optimizing Sparse-View 3D Gaussian Radiance Fields with Global-Local Depth Normalization

Radiance fields已经展示了在从稀疏输入视图中合成新视图方面的惊人性能，然而现有的方法在训练成本和推理速度上存在问题。本文介绍了DNGaussian，这是一个基于3D高斯辐射场的深度正则化框架，提供实时和高质量的少样本新视图合成，成本低廉。我们的动机源于最近3D高斯喷洒的高效表示和惊人的质量，尽管当输入视图减少时，它会遇到几何退化。在高斯辐射场中，我们发现这种退化主要与高斯基元的定位有关，可以通过深度约束来缓解。因此，我们提出了一种硬和软深度正则化来恢复准确的场景几何，同时保持细粒度的颜色外观。为了进一步细化详细的几何重塑，我们引入了全局局部深度归一化，增强对小局部深度变化的关注。在LLFF、DTU和Blender数据集上的广泛实验表明，DNGaussian优于现有的最先进方法，在显著降低内存成本、训练时间减少25倍和渲染速度超过3000倍的同时，实现了可比或更好的结果。

本文旨在解决现有方法在训练成本和推理速度方面存在问题的情况下，通过提出一种基于3D高斯辐射场的深度正则化框架DNGaussian，提供实时、高质量的少样本新视角合成。

DNGaussian基于3D高斯辐射场，通过深度约束来恢复准确的场景几何形状，同时保持细粒度的颜色外观。其中，Hard and Soft Depth Regularization用于在粗略的单目深度监督下恢复准确的场景几何形状，Global-Local Depth Normalization用于进一步细化详细的几何形状重塑。

DNGaussian在LLFF、DTU和Blender数据集上进行了广泛的实验，证明其在减少内存成本、缩短训练时间、提高渲染速度方面具有显著优势，同时在质量上也与最先进的方法相当甚至更好。此外，本文还提供了开源代码。

最近的相关研究包括NeRF、GRAF和NeRF++等。