Scene Coordinate Reconstruction: Posing of Image Collections via Incremental Learning of a Relocalizer

我们研究了从描绘场景的一组图像中估计相机参数的任务。流行的基于特征的结构运动（SfM）工具通过增量重建来解决这个任务：它们重复三角化稀疏的三维点和注册更多的相机视图到稀疏点云。我们重新解释增量结构运动为一个可视化重定位器的迭代应用和细化，即一种将新视图注册到重建当前状态的方法。这个角度使我们能够研究不基于局部特征匹配的替代可视化重定位器。我们展示了场景坐标回归，一种基于学习的重定位方法，允许我们从未姿态的图像中构建隐式的神经场景表示。与其他基于学习的重建方法不同，我们不需要姿态先验或顺序输入，并且我们可以高效地优化数千个图像。我们的方法ACE0（ACE Zero）通过新颖的视角合成展示了与基于特征的SfM相当的相机姿态估计精度。项目页面：https://nianticlabs.github.io/acezero/

论文旨在解决从一组图像中估计相机参数的问题，通过重新解释增量式结构从运动方法作为视觉重定位器的迭代应用和细化，提出了一种不基于局部特征匹配的新型视觉重定位器。

论文提出了一种名为ACE0的方法，使用学习方法进行场景坐标回归，从而构建隐式的神经场景表示，并能够在数千张图像上高效地进行优化，而不需要姿态先验或顺序输入。

论文的方法能够以与基于特征的结构从运动方法相当的精度估计相机姿态，并且不需要姿态先验或顺序输入。实验结果表明，ACE0能够进行新视角合成，具有很好的性能。此外，该方法还能够从未姿态的图像中构建隐式神经场景表示，并且能够高效地进行优化。论文提供了项目页面和开源代码。

在这个领域中，还有一些相关的研究，如VisualSfM、COLMAP、OpenMVG等。