Light3R-SfM: Towards Feed-forward Structure-from-Motion

我们提出了Light3R-SfM，这是一种用于从无约束图像集合中高效进行大规模运动恢复结构（SfM）的前馈、端到端可学习框架。与现有的依赖于昂贵匹配和全局优化以实现精确3D重建的SfM解决方案不同，Light3R-SfM通过一种新颖的潜在全局对齐模块解决了这一局限性。该模块用可学习的注意力机制取代了传统的全局优化方法，有效捕捉了图像间的多视图约束，从而实现了稳健且精确的相机姿态估计。Light3R-SfM通过检索分数引导的最短路径树构建稀疏场景图，相比朴素方法大幅减少了内存使用和计算开销。大量实验表明，Light3R-SfM在显著减少运行时间的同时达到了具有竞争力的精度，使其非常适合在有运行时间限制的实际应用中进行3D重建任务。这项工作开创了一种数据驱动的前馈SfM方法，为在自然环境中实现可扩展、准确且高效的3D重建铺平了道路。

Light3R-SfM旨在解决现有大规模结构光运动（SfM）方法中存在的计算成本高、匹配和全局优化过程复杂的问题，尤其是在处理无约束图像集合时。这并非一个全新的问题，但该研究专注于提高效率和准确性，同时减少运行时间和资源消耗，使其更适合实际应用中的实时需求。

关键思路在于引入了一个新颖的潜在全局对齐模块，用可学习的注意力机制替代了传统的全局优化方法，从而更有效地捕捉多视图约束并进行精确的相机姿态估计。此外，通过构建基于检索分数引导的最短路径树的稀疏场景图，大幅降低了内存使用和计算开销。这种方法不仅提高了效率，还保持了较高的重建精度。

该研究展示了显著的性能提升，在多个数据集上的实验表明，Light3R-SfM能够在保证准确性的前提下极大地缩短运行时间。研究团队开源了代码，为后续研究提供了便利。未来的工作可以进一步探索如何将此方法应用于更大规模的数据集或更复杂的环境中，以及如何改进注意力机制以更好地处理遮挡等问题。

近期相关研究包括《Learning to Optimize Global Correspondences for Robust SfM》、《Efficient Large-Scale Multi-View Stereo via Graph-Cut Optimization》等。这些工作都试图通过不同的技术手段来改善SfM的效率和效果，但Light3R-SfM的独特之处在于其完全端到端的学习框架和创新性的注意力机制设计。