SpectralMamba: Efficient Mamba for Hyperspectral Image Classification

最近，循环神经网络和Transformer在高光谱成像中的应用占据主导地位，因为它们具有从光谱序列中捕捉长程依赖性的能力。然而，尽管这些序列架构取得了成功，但由于并行化困难或计算代价高的注意力机制造成的不可忽略的低效仍然阻碍了它们的实用性，特别是在遥感场景下进行大规模观测。为了解决这个问题，我们在此提出了SpectralMamba——一种新颖的状态空间模型，结合高效的深度学习框架进行高光谱图像分类。SpectralMamba在两个层面上具有简化但足够的HS数据动态建模特性。首先，在空间-光谱空间中，通过高效的卷积学习动态掩模，同时编码空间规律和光谱特异性，从而减少区分性表示学习中的光谱变异和混淆。其次，合并的光谱可以在隐藏状态空间中高效地操作，所有参数都是基于输入学习的，产生有选择性的聚焦响应，而不依赖于冗余的注意力或无法并行化的循环。为了探索进一步的计算缩减空间，在其间采用分段扫描机制，将近似连续的光谱转换为长度压缩的序列，同时保持数百个波段之间的短期和长期上下文特征。通过对由卫星、飞机和无人机成像仪获取的四个基准HS数据集的广泛实验，SpectralMamba在性能和效率方面都具有令人惊喜的优势。

论文旨在解决高光谱图像分类中由于序列结构导致的低效率问题，提出了一种新的深度学习框架 SpectralMamba。

SpectralMamba 框架包括两个层面的简化建模：在空间-光谱空间中，通过有效的卷积学习动态掩码，同时编码空间规则性和光谱特异性；然后将合并的光谱在隐藏状态空间中进行高效操作，所有参数都是输入相关的，从而产生具有选择性的响应，而无需依赖冗余注意力或不可并行化的循环。同时，采用分段扫描机制将近似连续的光谱转换为具有挤压长度的序列，同时保持数百个波段之间的短期和长期上下文特征。

论文在四个基准高光谱数据集上进行了广泛的实验，表明 SpectralMamba 框架在性能和效率方面都有显著提升。此外，论文还使用了分段扫描机制对光谱进行了压缩，同时保持了其上下文特征。

最近的相关研究包括使用循环神经网络和Transformer的高光谱图像分类方法。