Multi-view Reconstruction via SfM-guided Monocular Depth Estimation

在本文中，我们提出了一种新的多视图几何重建方法。近年来，大型视觉模型发展迅速，在各类任务中表现出色，并展现出卓越的泛化能力。一些研究利用大型视觉模型进行单目深度估计，这些方法间接地应用于多视图重建任务中。然而，由于单目深度估计任务存在固有的模糊性，估计出的深度值通常不够准确，限制了其在多视图重建中的应用效果。我们提出将结构从运动（SfM）信息作为一种强大的多视图先验融入深度估计过程，从而提升深度预测的质量，并实现其在多视图几何重建中的直接应用。我们在公开的真实世界数据集上的实验结果表明，与以往的单目深度估计方法相比，我们的方法显著提高了深度估计的质量。此外，我们在包括室内、街景和航拍在内的多种场景类型中评估了我们的方法的重建质量，结果超越了当前最先进的多视图立体（MVS）方法。代码及补充材料可在以下网址获取：https://zju3dv.github.io/murre/ 。

论文试图解决多视图几何重建中深度估计不准确的问题，特别是单目深度估计任务中存在的模糊性和局限性。这是一个长期存在的问题，但通过结合SfM信息来改进深度估计是对此问题的新探索。

关键思路是将结构从运动（SfM）信息作为一种强大的多视图先验引入到深度估计过程中，从而提升深度预测的质量，并使其能够直接应用于多视图几何重建。相比现有方法，这种方法通过融合多视图约束显著提高了深度估计的准确性。

论文在多个真实世界数据集上验证了方法的有效性，包括室内、街景和航拍场景，并且在这些场景中的表现超过了当前最先进的多视图立体（MVS）方法。此外，作者开源了代码和补充材料，便于后续研究者复现和扩展工作。未来可以进一步研究如何将该方法应用于动态场景或更大规模的数据集。

近期相关研究包括：1) 单目深度估计领域的进展，如《Monocular Depth Estimation with Deep Neural Networks》；2) 结合SfM与深度学习的工作，例如《DS-Net: End-to-End Differentiable Structure-from-Motion》；3) 多视图立体视觉的经典方法，如《COLMAP: General- Purpose Sparse and Dense Reconstruction》。这些研究共同推动了多视图几何重建技术的发展。