Dust to Tower: Coarse-to-Fine Photo-Realistic Scene Reconstruction from Sparse Uncalibrated Images

从稀疏视角的未标定图像中重建照片级真实的场景在实际应用中具有很高的需求。尽管已经取得了一些成功，但现有的方法要么是稀疏视角但需要精确的相机参数（即内参和外参），要么是无需SfM（结构化光束法）但需要密集捕捉的图像。为了结合这两种方法的优点并解决各自的缺点，我们提出了“尘埃到塔楼”（D2T），这是一种准确且高效的由粗到精的框架，可以从稀疏且未标定的图像中同时优化3D高斯点云（3DGS）和图像姿态。我们的核心思想是首先高效地构建一个粗略模型，然后使用在新视角下变形和修复的图像对其进行细化。为此，我们首先引入了一个粗略构建模块（CCM），该模块利用快速多视图立体模型来初始化3D高斯点云，并恢复初始的相机姿态。为了在新视角下细化3D模型，我们提出了一种基于置信度的深度对齐（CADA）模块，通过将置信部分与单目深度模型估计的深度对齐来细化粗略的深度图。接下来，我们提出了一种变形图像引导的修复（WIGI）模块，通过细化后的深度图将训练图像变形到新的视角，并进行修复以填补因视角变化而产生的“空洞”，为优化3D模型和相机姿态提供高质量的监督。广泛的实验和消融研究表明了D2T及其设计选择的有效性，在新视角合成和姿态估计任务中均达到了最先进的性能，同时保持了高效率。代码将公开发布。

论文试图解决从稀疏视角、未校准图像进行照片级真实场景重建的问题。这是一个在实践中高度需求但尚未完全解决的问题，现有方法要么需要准确的相机参数，要么需要密集捕获的图像。

关键思路是提出了一种名为Dust to Tower (D2T)的粗到精框架，该框架可以同时优化3D高斯点阵（3DGS）和图像姿态。首先通过多视图立体模型快速构建粗略模型并恢复初始相机姿态，然后通过置信度感知深度对齐（CADA）模块和基于变形图像引导的修复（WIGI）模块逐步细化模型。相比当前研究，D2T不需要精确的相机参数，也不依赖密集图像，而是结合了两者的优点。

亮点包括：1. 提出了Coarse Construction Module (CCM)，利用快速多视图立体模型初始化3D高斯点阵并恢复初始相机姿态；2. Confidence Aware Depth Alignment (CADA)模块用于细化深度图；3. Warped Image-Guided Inpainting (WIGI)模块用于生成高质量的监督数据以进一步优化3D模型和相机姿态。实验设计涵盖了广泛的测试案例，并进行了消融研究以验证各模块的有效性。代码将公开，便于后续研究。

最近的相关研究包括：1. 使用结构光摄影（Structure-from-Motion, SfM）的方法，如COLMAP；2. 基于神经辐射场（NeRF）的方法，如Instant-NGP；3. 多视图立体视觉（MVS）技术，如MVSNet。这些方法通常依赖于密集图像或准确的相机参数，而D2T旨在减少这些限制。