A Light-weight Transformer-based Self-supervised Matching Network for Heterogeneous Images

在遥感图像融合中，匹配可见光和近红外（NIR）图像仍然是一个重大挑战。异构遥感图像之间的非线性辐射差异使图像匹配任务更加困难。近年来，深度学习在计算机视觉任务中引起了广泛关注。然而，许多方法依赖于监督学习，并需要大量的注释数据。然而，在遥感图像匹配领域，注释数据经常是有限的。为了解决这个挑战，本文提出了一种新颖的关键点描述符方法，通过自监督匹配网络获得鲁棒的特征描述符。设计了一种轻量级变压器网络LTFormer来生成深层特征描述符。此外，我们实现了一种创新的三元组损失函数LT Loss，进一步提高了匹配性能。我们的方法优于传统的手工制作的局部特征描述符，并且在注释数据短缺的情况下证明与最先进的基于深度学习的方法同样具有竞争力。

本论文旨在解决遥感图像匹配中可见光和近红外图像之间非线性辐射差异的问题，尤其是在数据集有限的情况下。

该论文提出了一种使用自监督匹配网络获得稳健特征描述符的新型关键点描述符方法。论文设计了一个轻量级Transformer网络（LTFormer）来生成深层次的特征描述符，并实现了一种创新的三元组损失函数（LT Loss）来进一步提高匹配性能。

该方法在有限的注释数据集下表现出比传统手工制作的局部特征描述符更好的性能，并且与最先进的基于深度学习的方法相比具有相同的竞争力。实验使用了现有的遥感图像数据集，并且在实验部分提供了详细的实验结果和分析。该论文的方法和实验结果值得进一步研究和探索。

在遥感图像匹配领域的相关研究包括：'Multi-Scale Dense Networks for Resource-Poor Remote Sensing Image Matching'、'Squeeze-and-Excitation Networks for Remote Sensing Image Matching'、'Deep Feature Fusion with Channel Attention for Remote Sensing Image Matching'等。