S$^2$Mamba: A Spatial-spectral State Space Model for Hyperspectral Image Classification

利用高光谱图像进行土地覆盖分析仍然存在问题，因为它们的空间分辨率较低，光谱信息复杂。最近的研究主要致力于设计基于Transformer的架构，用于模拟空间-光谱长距离依赖关系建模，但计算成本很高，具有二次复杂度。最近显示出有希望的选择性结构状态空间模型（Mamba）可以有效地进行线性复杂度的长距离依赖关系建模。然而，它在需要处理众多光谱波段的高光谱图像处理中的潜力尚未得到探索。本文创新性地提出了S$^2$Mamba，一种用于高光谱图像分类的空间-光谱状态空间模型，以挖掘空间-光谱上下文特征，从而实现更高效和准确的土地覆盖分析。在S$^2$Mamba中，设计了两个选择性结构状态空间模型，分别用于空间和光谱特征提取，以及一个空间-光谱混合门，用于最佳融合。具体而言，S$^2$Mamba首先通过Patch Cross Scanning模块与其相邻像素互动，捕捉空间上下文关系，然后通过双向光谱扫描模块从连续的光谱波段中探索语义信息。考虑到两个属性在同质和复杂纹理场景中的不同专业知识，我们通过一组可学习矩阵实现了空间-光谱混合门，允许自适应地合并跨不同维度学习到的表示。在HSI分类基准测试上进行的广泛实验表明了S$^2$Mamba的优越性和前景。代码将可在以下网址获得：https://github.com/PURE-melo/S2Mamba。

本文旨在解决高光谱图像分类中低空间分辨率和复杂光谱信息所带来的问题，提出了一种新的空间-光谱状态空间模型S^2Mamba。

S^2Mamba模型通过两个选择性结构状态空间模型对空间和光谱进行特征提取，并引入了空间-光谱混合门进行最优融合，实现了高效准确的土地覆盖分析。

论文通过实验验证了S^2Mamba模型在高光谱图像分类中的优越性，代码已经开源。

最近的相关研究主要集中在设计基于Transformer的架构，而本文提出的S^2Mamba模型则是一种具有线性复杂度的选择性结构状态空间模型，为高光谱图像处理提供了新的思路。