Matching 2D Images in 3D: Metric Relative Pose from Metric Correspondences

给定两张图像，我们可以通过建立图像对应关系来估计它们之间的相对相机姿态。通常，这些对应关系是2D到2D的，我们估计的姿态仅定义了比例尺度。一些应用旨在实现随时随地的增强现实，需要比例尺度姿态估计，因此它们依赖于外部深度估计器来恢复比例尺度。我们提出了MicKey，这是一个关键点匹配流程，能够预测3D相机空间中的度量对应关系。通过学习在图像之间匹配3D坐标，我们能够推断出度量相对姿态，而不需要深度测量。训练过程中不需要深度测量、场景重建或图像重叠信息。MicKey仅由成对图像及其相对姿态监督。MicKey在Map-Free Relocalisation基准测试中实现了最先进的性能，同时需要比竞争方法更少的监督。

该论文旨在解决在没有深度估计的情况下，通过学习匹配3D坐标来预测图像间的度量对应关系，从而实现度量级相对位姿估计的问题。

该论文的关键思路是通过学习匹配3D坐标来预测图像间的度量对应关系，从而实现度量级相对位姿估计，而无需深度估计、场景重建或图像重叠信息。该方法仅通过图像对及其相对位姿进行监督学习，能够在不需要比竞争方法更少的监督下，在Map-Free Relocalisation基准测试中实现最先进的性能。

值得关注的亮点是，该方法无需深度估计、场景重建或图像重叠信息，仅通过图像对及其相对位姿进行监督学习。实验表明，该方法在Map-Free Relocalisation基准测试中实现了最先进的性能。论文中还提出了MicKey，一个关键点匹配流水线，能够在3D相机空间中预测度量对应关系。该论文使用的数据集是Map-Free Relocalisation基准测试，但是并没有开源代码。

最近在这个领域中，还有一些相关的研究，例如：Visual Localization with Spatial LSTMs、DS-Net、PoseNet等。