CMTNet: Convolutional Meets Transformer Network for Hyperspectral Images Classification

高光谱遥感技术（HIS）能够详细捕捉地球表面的光谱信息，由于其优越的光谱诊断能力，可以实现对表面作物的精确分类和识别。然而，当前的卷积神经网络（CNN）在处理高光谱数据时，只关注局部特征，导致在分类复杂的作物类型和处理不平衡的样本分布时性能不佳。相比之下，Transformer框架在从高光谱图像中提取全局特征方面表现出色。为了发挥两种方法的优势，本研究介绍了卷积遇上Transformer网络（CMTNet）。这种创新型模型包括一个光谱-空间特征提取模块，用于浅层特征捕捉，一个结合CNN和Transformer分支的双分支结构，用于局部和全局特征提取，以及一个多输出约束模块，通过多输出损失计算和跨局部、国际和联合特征的交叉约束来提高分类精度。在三个数据集（WHU-Hi-LongKou、WHU-Hi-HanChuan和WHU-Hi-HongHu）上进行的广泛实验表明，CMTNet在分类性能方面显著优于其他最先进的网络，验证了它在高光谱作物分类中的有效性。

本论文旨在解决卷积神经网络在高光谱遥感图像分类中局部特征提取效果不佳的问题，提出了一种结合了卷积神经网络和Transformer的Convolutional Meet Transformer Network (CMTNet)模型。

论文提出了一种结合了卷积神经网络和Transformer的模型，利用Transformer的全局特征提取能力来提高高光谱遥感图像分类的性能。

论文设计了一个包含了局部和全局特征提取的双分支结构，并且引入了多输出约束模块来增强分类准确性。实验结果表明，该模型在三个数据集上的表现均优于当前最先进的网络。

与该论文相关的研究包括：'Hyperspectral Image Classification with Convolutional Neural Networks'、'Hyperspectral Image Classification with Deep Pixel-Pair Features'等。