Distributed Global Structure-from-Motion with a Deep Front-End

虽然最初的Structure-from-Motion（SfM）方法既包括全局方法又包括增量方法，但最近的大多数应用都依赖于增量系统来估计相机姿态，因为它们具有更强的鲁棒性。虽然基于从数据中学习的深度模型的SfM“前端”取得了巨大进展，但最先进的（增量）SfM流水线仍然依赖于2004年开发的经典SIFT特征。在这项工作中，我们研究了利用特征提取和匹配的发展是否有助于全局SfM与SOTA增量SfM方法（COLMAP）表现相当。为此，我们设计了一个模块化的SfM框架，使我们能够轻松地结合SfM流水线不同阶段的发展。我们的实验表明，虽然基于深度学习的两视图对应估计的发展确实能够将全局SfM重建的场景的点密度提高，但在一系列数据集上与增量SfM结果进行比较时，它们都没有超过SIFT。我们的SfM系统从头开始设计，利用分布式计算，使我们能够在多台计算机上并行计算并扩展到大型场景。

本论文旨在探讨是否可以利用特征提取和匹配的发展来帮助全局SfM与增量SfM相媲美。具体来说，论文研究了利用深度学习的两视图对应估计是否能够提高全局SfM点密度，并与COLMAP增量SfM结果进行比较。

本论文设计了一个模块化的SfM框架，可以轻松地结合SfM流程中不同阶段的发展。实验结果表明，深度学习的两视图对应估计的发展确实可以提高全局SfM点密度，但在一系列数据集上，它们都没有超过SIFT，并且无法与增量SfM结果相媲美。

本论文的亮点在于设计了一个分布式计算的SfM系统，可以在多台计算机上并行计算并扩展到大型场景。实验使用了多个数据集，并且开源了代码。此外，论文还探讨了深度学习在SfM领域的应用前景。

最近的相关研究包括：《DeepSfM：结合深度学习的增量结构从运动》、《从单张图像中的深度学习结构和运动》、《利用深度学习的SfM：从2D到3D》等。