MASt3R-SfM: a Fully-Integrated Solution for Unconstrained Structure-from-Motion

结构从运动（SfM）是一项任务，旨在给定一组图像，共同恢复场景的相机姿态和三维几何结构，尽管在显著进展的几十年中，SfM仍然是一个具有许多挑战的难题。传统的SfM解决方案包括最小解算器的复杂流程，往往会传播误差，并在图像不足够重叠、运动不足够大等情况下失败。最近的方法试图重新审视这种范式，但我们经验证明，它们未能解决这些核心问题。在本文中，我们提出了一种基于最近发布的3D视觉基础模型的方法，该模型可以稳健地产生局部3D重建和准确的匹配。我们引入了一种低内存方法，以在全局坐标系中精确地对齐这些局部重建。我们进一步展示，这种基础模型可以作为高效的图像检索器，没有任何开销，将总体复杂度从二次降至线性。总体而言，我们的新型SfM流程简单、可扩展、快速且真正无限制，即它可以处理任何有序或无序的图像集合。在多个基准测试上的广泛实验表明，我们的方法在不同设置下提供了稳定的性能，特别是在小规模和中等规模设置下优于现有方法。

本文试图解决Structure-from-Motion（SfM）这个问题，即如何在给定一组图像的情况下，联合恢复场景的相机姿态和三维几何形状，尽管该问题已经有了数十年的显著进展，但仍存在许多挑战和未解决的问题。

本文提出了一种基于最近发布的基础模型的SfM新方法，该模型可以稳健地产生局部三维重建和准确的匹配，并引入了一种低内存方法来在全局坐标系中精确对齐这些局部重建，同时展示了这种基础模型可以作为高效的图像检索器，从而将总体复杂度从二次降低到线性。

该方法简单、可扩展、快速且真正无约束，即可以处理任何图像集合，无论有序或无序。在多个基准测试中进行了广泛的实验，表明该方法在不同的设置下提供了稳定的性能，特别是在小型和中型规模的设置中优于现有方法。

最近在这个领域中，一些相关研究包括：《SfM-Net: Learning SfM from Unstructured Image Collections》、《Efficient Large-Scale Structure from Motion by Fusing Auxiliary Image Sets》、《VisualSfM: A Visual Structure from Motion System》等。