RESFM: Robust Equivariant Multiview Structure from Motion

多视图结构恢复是一个基础而具有挑战性的计算机视觉问题。最近，提出了一种基于深度学习的方法，利用矩阵等变结构从大量图像集合中同时恢复相机姿态和三维场景结构。然而，该方法做出了一个不切实际的假设，即输入的点轨迹不包含离群值。因此，我们提出了一种适用于处理离群值的架构，通过添加一个遵守模型等变性的内点/外点分类模块和一个鲁棒的捆绑调整步骤。实验证明，我们的方法可以成功应用于包括大量图像集合和使用常见启发式方法提取的点轨迹中，包含许多离群值的现实场景中。

本论文的问题是如何解决多视角结构运动中的异常值问题，以及如何在大规模图像集合中同时恢复相机姿态和3D场景结构。这是一个已知的问题，但是之前的方法都假设输入的点轨迹没有异常值。

本论文的关键思路是增加一个内点/异常点分类模块来处理异常值，并添加一个稳健的捆绑调整步骤来提高精度。

本论文的亮点是成功解决了多视角结构运动中的异常值问题，并且在大规模图像集合中同时恢复相机姿态和3D场景结构。实验使用常见的启发式方法提取点轨迹，并包括许多异常值，证明了该方法的有效性。此外，论文还提供了开源代码。

最近的相关研究包括：DeepSFM, SfM-Net, DeepMVS, 以及基于几何的SfM方法等。