TP3M: Transformer-based Pseudo 3D Image Matching with Reference

在具有大视角、光照变化或低纹理等场景中，图像匹配仍然具有挑战性。本文提出了一种基于Transformer的伪3D图像匹配方法。它利用参考图像将从源图像提取的2D特征升级为3D特征，并通过从粗到细的3D匹配与从目标图像提取的2D特征进行匹配。我们的关键发现是，通过引入参考图像，源图像的细节被筛选，并且其特征描述符从2D到3D得到了进一步的丰富，从而提高了与目标图像的匹配性能。在多个数据集上的实验结果表明，所提出的方法在单应性估计、姿态估计和视觉定位等任务中取得了最先进的成果，尤其是在具有挑战性的场景中。

提出一种基于Transformer的伪3D图像匹配方法，解决在大视角、光照变化或低纹理场景下的图像匹配问题。

通过引入参考图像，将源图像的细节点筛选出来，并将其特征描述符从2D升级到3D，从而提高了与目标图像的匹配性能。

论文在多个数据集上进行了实验，展示了该方法在同态估计、姿态估计和视觉定位等任务中达到了最先进水平。同时，还提供了开源代码。

相关研究包括：DeepMatch、SuperPoint、SuperGlue等。