Visual Geometry Grounded Deep Structure From Motion

“Structure-from-motion (SfM)”是计算机视觉领域中一个长期存在的问题，其目的是从一组无约束的2D图像中重建场景的相机姿态和3D结构。经典的解决方案通过检测和匹配关键点、注册图像、三角化3D点和进行束调整来逐步解决这个问题。最近的研究主要集中在利用深度学习技术增强特定元素（如关键点匹配），但仍基于原始的、不可微分的管道。相反，我们提出了一个新的深度管道VGGSfM，其中每个组件都是完全可微分的，因此可以进行端到端的训练。为此，我们引入了新的机制和简化。首先，我们借鉴了最近深度2D点跟踪的进展，提取可靠的像素精确跟踪，消除了链接成对匹配的需要。此外，我们基于图像和跟踪特征同时恢复所有相机，而不是逐渐注册相机。最后，我们通过可微分的束调整层优化相机和三角化3D点。我们在三个流行数据集CO3D、IMC Phototourism和ETH3D上实现了最先进的性能。

解决问题：该论文旨在解决结构运动（SfM）问题，即从一组无约束的2D图像中重建相机姿态和3D结构的问题。

关键思路：该论文提出了一个全新的深度管道VGGSfM，其中每个组件都是完全可微的，因此可以进行端到端的训练。通过利用深度2D点跟踪的最新进展来提取可靠的像素精确跟踪，消除了链式配对的需要。此外，基于图像和跟踪特征同时恢复所有相机，而不是逐渐注册相机。最后，通过可微捆绑调整层优化相机并三角化3D点。

其他亮点：该论文在三个流行数据集CO3D、IMC Phototourism和ETH3D上取得了最先进的性能。实验设计中使用了大量的数据集和开源代码。值得深入研究的工作包括如何在更大规模的数据集上进行训练，以及如何扩展到动态场景中。

相关研究：最近的相关研究包括DeepSfM、MaskVO、D3VO等。