Depth-Regularized Optimization for 3D Gaussian Splatting in Few-Shot Images

本文提出了一种方法来优化高斯点渲染，使用有限数量的图像避免过拟合。将3D场景表示为多个高斯点的组合已经取得了出色的视觉效果。然而，当只有少量图像可用时，它往往会过度拟合训练视图。为了解决这个问题，我们引入了密集的深度图作为几何指导来减轻过拟合。我们使用预训练的单目深度估计模型和稀疏的COLMAP特征点来获得深度图并对齐比例和偏移。调整后的深度有助于基于颜色的3D高斯点渲染优化，减轻浮动伪影，并确保遵守几何约束。我们在具有不同数量的少量图像的NeRF-LLFF数据集上验证了所提出的方法。与仅依赖图像的原始方法相比，我们的方法表现出了更强的几何鲁棒性。

论文试图通过引入密集深度图作为几何指南来优化高斯喷洒，避免过拟合。这是一个新问题吗？

论文的关键思路是使用预训练的单目深度估计模型获取深度图，并使用稀疏的COLMAP特征点对其进行比例和偏移校准，然后利用该深度图对3D高斯喷洒进行基于颜色的优化，从而减轻浮动伪影，并确保遵守几何约束。

论文在NeRF-LLFF数据集上验证了所提出的方法，展示了与仅依赖于图像的原始方法相比的稳健的几何性能。实验中使用了预训练的单目深度估计模型和COLMAP特征点。论文提供了开源代码。

最近在这个领域中，还有一些相关的研究，如《NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis》、《AtlasNet: A Papier-Mâché Approach to Learning 3D Surface Generation》等。