MP-SfM: Monocular Surface Priors for Robust Structure-from-Motion

尽管结构化运动（Structure-from-Motion, SfM）在过去几年中取得了显著进展，但现有的最先进系统在面对低重叠、低视差或高对称性场景中的极端视角变化时仍容易失败。由于避免这些缺陷的图像采集具有挑战性，这极大地限制了SfM的广泛应用，特别是对于非专业用户而言。我们通过将单目深度和法线先验（由深度神经网络推断）融入经典的SfM范式中，克服了这些限制。得益于单目约束与多视图约束的紧密集成，我们的方法在极端视角变化下显著优于现有方法，同时在标准条件下仍保持强劲性能。我们还证明了单目先验能够帮助排除因对称性导致的错误匹配关联，这是SfM领域长期存在的问题。这使我们的方法成为首个能够从少量图像可靠重建具有挑战性的室内环境的技术。通过系统化的不确定性传播，我们的方法对先验中的误差具有鲁棒性，可以轻松适应由不同模型推断出的先验，且无需过多调整参数，因此能够轻松受益于未来单目深度和法线估计技术的进步。我们的代码已公开发布在 https://github.com/cvg/mpsfm。

论文试图解决在极端视角变化、低重叠、低视差或高对称性场景下，传统结构光运动（SfM）系统容易失败的问题。这是一个长期存在的问题，尤其在非专家用户使用时更为明显。

论文提出通过结合单目深度和法线先验（由深度神经网络推断）来增强经典SfM方法。这种方法通过紧密集成单目和多视图约束，在极端视角变化下显著优于现有方法，同时在标准条件下保持强大性能。相比当前研究，该方法首次成功解决了因对称性导致的错误关联问题。

论文展示了单目先验能够有效拒绝因对称性引起的错误匹配，从而实现对挑战性室内环境的可靠重建。此外，该方法通过不确定性传播机制增强了对先验误差的鲁棒性，并且可以轻松适应不同模型生成的先验。实验设计涵盖了多种复杂场景，验证了方法在实际应用中的有效性。代码已开源至GitHub (https://github.com/cvg/mpsfm)，为后续研究提供了便利。未来值得深入研究的方向包括更精确的单目估计模型以及在动态场景下的扩展。

近期相关研究包括：1)《Learning to Predict 3D Objects with an Interpolation-based Differentiable Renderer》探索了可微渲染器在3D预测中的应用；2)《DS-Net: Dense Scene Reconstruction from a Single Image》提出了基于单张图像的密集场景重建；3)《Symmetry-Aware 3D Object Detection》针对对称物体检测进行了优化。这些研究共同推动了单目视觉与多视图几何的融合，但本论文的独特之处在于其对极端条件下的SfM问题的针对性解决方案。