RS3Mamba: Visual State Space Model for Remote Sensing Images Semantic Segmentation

遥感图像的语义分割是地球科学研究中的基本任务。然而，广泛使用的卷积神经网络（CNN）和Transformer存在一些显著缺点。前者受其不足的长程建模能力的限制，而后者则受其计算复杂性的限制。最近，一种新的可用于线性计算的视觉状态空间（VSS）模型Mamba出现了，能够建模长程关系。在本文中，我们提出了一种新的双分支网络，名为遥感图像语义分割Mamba（RS3Mamba），将这种创新技术纳入遥感任务中。具体而言，RS3Mamba利用VSS块构建辅助分支，为基于卷积的主分支提供额外的全局信息。此外，考虑到两个分支的不同特点，我们引入了协作完成模块（CCM）来增强和融合双编码器的特征。在两个广泛使用的数据集ISPRS Vaihingen和LoveDA Urban上的实验结果表明，所提出的RS3Mamba具有很好的效果和潜力。据我们所知，这是专门为遥感图像语义分割设计的第一个视觉Mamba。源代码将在https://github.com/sstary/SSRS上提供。

本论文旨在解决遥感图像语义分割中使用的CNN和Transformers存在的局限性，前者长程建模能力不足，后者计算复杂度高的问题。同时，该论文还试图验证使用VSS模型和CCM模块构建的双分支网络RS3Mamba在遥感图像语义分割任务中的有效性和潜力。

该论文提出了使用VSS模型构建辅助分支，为基于卷积的主分支提供额外的全局信息，并引入CCM模块增强和融合双编码器的特征的双分支网络RS3Mamba。相比当前领域的研究，该论文的关键思路在于将Mamba模型应用于遥感图像语义分割任务，以解决现有方法的局限性。

该论文在ISPRS Vaihingen和LoveDA Urban两个广泛使用的数据集上进行了实验，证明了RS3Mamba的有效性和潜力。此外，该论文还提供了开源代码，值得进一步研究。

最近在这个领域中，还有一些相关的研究，如DeepLabv3+、PSPNet和UNet++等。