RSMamba: Remote Sensing Image Classification with State Space Model

遥感图像分类是各种理解任务的基础，对于遥感图像解释具有至关重要的作用。卷积神经网络(CNNs)和Transformer的最新进展显著提高了分类准确性。然而，遥感场景分类仍然是一个重大挑战，特别是考虑到遥感场景的复杂性和多样性以及时空分辨率的可变性。整个图像理解的能力可以为场景区分提供更精确的语义线索。本文介绍了一种新的遥感图像分类架构RSMamba。RSMamba基于状态空间模型(SSM)，并采用一种高效的、硬件感知的设计，称为Mamba。它集成了全局感受野和线性建模复杂性的优点。为了克服普通Mamba的局限性，即只能对因果序列进行建模，而不能适应二维图像数据，我们提出了一种动态的多路径激活机制，以增强Mamba对非因果数据的建模能力。值得注意的是，RSMamba保持了普通Mamba的固有建模机制，但在多个遥感图像分类数据集上表现出更优异的性能。这表明RSMamba具有成为未来视觉基础模型骨干的重要潜力。代码将在\url{https://github.com/KyanChen/RSMamba}上提供。

解决问题：论文旨在提出一种新的远程感知图像分类方法，以应对远程感知场景分类面临的挑战。

关键思路：论文提出了一种基于状态空间模型（SSM）和硬件感知设计Mamba的新架构RSMamba，以整体图像理解为基础，结合全局感受野和线性建模复杂性的优点，采用动态多路径激活机制来增强Mamba对非因果数据的建模能力。

其他亮点：论文在多个远程感知图像分类数据集上展示了RSMamba的卓越性能，并提供了开源代码。该方法的成功表明RSMamba有望成为未来视觉基础模型的骨干。

相关研究：最近的相关研究包括使用卷积神经网络和Transformer的远程感知图像分类方法。