CMTNet: Convolutional Meets Transformer Network for Hyperspectral Images Classification

高光谱遥感技术（HIS）可以详细捕捉地表的光谱信息，由于其优越的光谱诊断能力，有助于精确分类和识别表面作物。然而，当前的卷积神经网络（CNN）在处理高光谱数据时，只关注局部特征，导致在分类复杂作物类型和处理不平衡样本分布时性能亚优。相比之下，Transformer框架在从高光谱图像中提取全局特征方面表现出色。为了充分利用两种方法的优势，本研究提出了卷积遇见Transformer网络（CMTNet）。这种创新模型包括一个光谱空间特征提取模块，用于浅层特征捕捉，一个结合CNN和Transformer分支的双分支结构，用于局部和全局特征提取，以及一个多输出约束模块，通过多输出损失计算和跨局部、全局和联合特征的交叉约束来增强分类精度。在三个数据集（WHU-Hi-LongKou、WHU-Hi-HanChuan和WHU-Hi-HongHu）上进行的大量实验表明，CMTNet在分类性能方面显著优于其他最先进的网络，验证了其在高光谱作物分类中的有效性。

本文旨在解决当前卷积神经网络在高光谱遥感图像分类中对局部特征的过度关注，导致对于复杂农作物类型的分类表现不佳和样本分布不均衡问题。

本文提出了一种新的模型CMTNet，结合了卷积神经网络和Transformer框架的优势，通过局部和全局特征提取，以及多输出约束模块提高分类准确性。

本文在三个数据集上进行了广泛的实验，证明CMTNet在高光谱农作物分类中优于其他现有模型。此外，本文还开源了代码。

相关研究包括：1. 'Hyperspectral Image Classification with Deep Pixel-Pair Features'，2. 'Hyperspectral Image Classification with Deep Learning: A Review'，3. 'Hyperspectral Image Classification Using Deep Convolutional Neural Networks'等。