DNGaussian: Optimizing Sparse-View 3D Gaussian Radiance Fields with Global-Local Depth Normalization

辐射场在从稀疏输入视图合成新视图方面已经展现出了令人印象深刻的性能，但现有方法存在高训练成本和缓慢的推理速度的问题。本文介绍了一种基于三维高斯辐射场的深度正则化框架DNGaussian，提供实时高质量的少样本新视图合成，成本低廉。我们的动机源于最近三维高斯点插值方法的高效表示和惊人的质量，尽管当输入视图减少时，它会遇到几何退化的问题。在高斯辐射场中，我们发现这种场景几何退化主要与高斯原语的定位有关，并且可以通过深度约束来减轻。因此，我们提出了一种硬性和软性深度正则化方法，在粗略的单目深度监督下恢复准确的场景几何，同时保持细粒度的颜色外观。为了进一步细化详细的几何重塑，我们引入了全局-局部深度归一化，增强对小的局部深度变化的关注。在LLFF、DTU和Blender数据集上的大量实验证明，DNGaussian优于现有的最先进方法，实现了可比或更好的结果，显著降低了内存成本，训练时间减少了25倍，渲染速度提高了3000倍。

本论文旨在提出一种基于3D高斯辐射场的深度正则化框架DNGaussian，以实现实时高质量的少量输入视图的新视图合成，并降低训练成本和推理速度。

DNGaussian框架基于3D高斯辐射场，通过深度约束来恢复准确的场景几何形状，同时保持细粒度的颜色外观。全局-局部深度归一化进一步提高了对小局部深度变化的关注度。

DNGaussian在LLFF、DTU和Blender数据集上进行了广泛实验，表现优于现有方法，具有显著降低内存成本、训练时间缩短25倍和渲染速度提高3000倍等优点。

与本论文相关的研究包括3D高斯点光源、3D卷积神经网络、3D回归和3D点云等。