Mamba-in-Mamba: Centralized Mamba-Cross-Scan in Tokenized Mamba Model for Hyperspectral Image Classification

高光谱图像分类在遥感领域中至关重要，特别是随着深度学习技术的发展。来自自然语言处理领域的序列模型，如循环神经网络（RNN）和Transformer，已经被专门用于此任务，提供了独特的视角。然而，仍然存在一些挑战：1）RNN难以进行中心特征聚合，并且对干扰像素敏感，2）Transformer需要大量计算资源，并且在有限的HSI训练样本下表现不佳，3）当前的图像转换序列数据的扫描方法过于简单和低效。为此，本研究介绍了创新的MiM架构，用于HSI分类，这是在此任务中首次尝试部署状态空间模型（SSM）。MiM模型包括：1）一种新颖的集中式Mamba-Cross-Scan（MCS）机制，用于将图像转换为序列数据，2）一个Tokenized Mamba（T-Mamba）编码器，它包括高斯衰减掩码（GDM）、语义令牌学习器（STL）和语义令牌融合器（STF），以增强特征生成和集中度，3）一个加权MCS融合（WMF）模块，结合多尺度损失设计来提高解码效率。三个公共HSI数据集的实验结果，包括固定和不相交的训练-测试样本，证明了我们的方法优于现有的基线和最先进的方法，突显了它在HSI应用中的功效和潜力。

本论文旨在解决高光谱图像分类中存在的问题，包括RNN模型对于特征聚合的困难和对干扰像素的敏感性、Transformer模型需要大量计算资源且在有限的训练样本下表现不佳以及当前图像转序列的扫描方法简单低效。

该论文提出了一种创新的Mamba-in-Mamba（MiM）架构，将状态空间模型（SSM）应用于高光谱图像分类任务中。MiM模型包括了一种新颖的集中式Mamba-Cross-Scan（MCS）机制、一个Tokenized Mamba（T-Mamba）编码器和一个加权MCS融合（WMF）模块，以及一个多尺度损失设计，提高了解码效率。

论文使用了三个公共高光谱数据集进行实验，结果表明该方法优于现有的基线和最先进的方法，并展示了其在高光谱图像分类中的有效性和潜力。值得关注的是，该论文首次将状态空间模型应用于高光谱图像分类任务中。此外，论文还提出了一种新颖的图像转序列方法，包括了Gaussian Decay Mask（GDM）、Semantic Token Learner（STL）和Semantic Token Fuser（STF）等组件，对于特征生成和集中化起到了重要作用。

在最近的相关研究中，也有一些尝试将RNN和Transformer模型应用于高光谱图像分类任务中，如《Hyperspectral Image Classification with Deep Recurrent Neural Networks》和《Hyperspectral Image Classification with Transformers》。同时，也有一些研究探索了不同的图像转序列方法，如《Spectral–Spatial Hyperspectral Image Classification Using 3D Convolutional Neural Networks》和《Hyperspectral Image Classification with Channel Attention and Shuffled Convolutional Neural Networks》。