PyramidMamba: Rethinking Pyramid Feature Fusion with Selective Space State Model for Semantic Segmentation of Remote Sensing Imagery

语义分割作为遥感图像智能解释的基本工具，在许多地球观测应用中发挥着至关重要的作用。现在，由于复杂的时空场景和多尺度地理对象，遥感图像的准确语义分割仍然是一个挑战。在深度学习浪潮的推动下，基于CNN和Transformer的语义分割方法得到了广泛探索，这两种架构都揭示了多尺度特征表示对于增强地理对象的语义信息的重要性。然而，实际的多尺度特征融合往往会带来语义冗余问题，因为金字塔特征中具有同质的语义内容。为了解决这个问题，我们提出了一种新的基于Mamba的分割网络，即PyramidMamba。具体来说，我们设计了一个即插即用的解码器，其中开发了一种密集空间金字塔池化（DSPP）来编码丰富的多尺度语义特征，以及一个金字塔融合Mamba（PFM）来减少多尺度特征融合中的语义冗余。全面的消融实验说明了所提出的方法在增强多尺度特征表示方面的有效性和优越性，以及实时语义分割的巨大潜力。此外，我们的PyramidMamba在三个公开可用的数据集上都取得了最先进的性能，即OpenEarthMap（70.8％ mIoU）、ISPRS Vaihingen（84.8％ mIoU）和Potsdam（88.0％ mIoU）数据集。代码将在https://github.com/WangLibo1995/GeoSeg上公开。

本文旨在解决遥感图像语义分割中的多尺度特征表示和语义冗余问题，以提高准确性和实时性。

本文提出了一种新的基于Mamba的分割网络——PyramidMamba，其中包括一个DSPP编码器和一个PFM解码器，可以有效地进行多尺度特征表示和语义冗余削减。

本文使用了三个公共数据集进行实验，PyramidMamba在这些数据集上都取得了最先进的结果。此外，作者还开源了代码。

最近在遥感图像语义分割领域，使用深度学习的方法已经得到了广泛的研究。本文中提到的CNN和Transformer都是常用的架构。