XoFTR: Cross-modal Feature Matching Transformer

我们介绍了一种名为XoFTR的跨模态交叉视图方法，用于热红外图像和可见光图像之间的局部特征匹配。与可见光图像不同，热红外图像不太容易受到不良的光照和天气条件的影响，但由于纹理和强度存在显著差异，因此匹配存在困难。目前针对可见光-热红外匹配的手工制作和基于学习的方法在处理视角、尺度和纹理多样性方面存在不足。为解决这个问题，XoFTR采用了遮罩图像建模预训练和微调，以及伪热图像增强来处理模态差异。此外，我们还引入了一个精细的匹配流程，通过亚像素级的细化来调整尺度差异并增强匹配可靠性。为了验证我们的方法，我们收集了一个全面的可见光-热红外数据集，并展示了我们的方法在许多基准测试中优于现有方法。

本论文旨在解决可见光图像和热红外图像之间的局部特征匹配问题，这是一个新问题。

XoFTR方法采用遮罩图像建模预训练和微调，结合伪热红外图像增强处理来处理模态差异，并引入细化匹配流程来调整尺度差异和提高匹配可靠性。

论文收集了全面的可见光-热红外数据集，并展示了XoFTR方法在许多基准测试中优于现有方法。

在最近的相关研究中，还有一些与可见光-热红外匹配相关的研究，如“Cross-Modal Retrieval with Correspondence Autoencoder”和“Deep Learning for Visual Recognition: A Comprehensive Survey”。