RS-Mamba for Large Remote Sensing Image Dense Prediction

遥感图像的空间分辨率越来越高，处理密集预测任务的大型高分辨率（VHR）遥感图像面临挑战。基于卷积神经网络的模型由于局部卷积操作的限制，无法对遥感图像的全局特征进行建模。基于Transformer的模型虽然具有全局建模能力，但由于其二次复杂度，面对大型VHR图像时会面临计算挑战。常见的将大型图像裁剪成较小的补丁的做法会导致上下文信息的显著丢失。为解决这些问题，我们提出了Remote Sensing Mamba（RSM），用于VHR遥感密集预测任务。RSM旨在使用线性复杂度对遥感图像的全局特征进行建模，从而有效处理大型VHR图像。它采用全向选择扫描模块，在多个方向上全局地对图像进行建模，从各个方向捕捉大的空间特征。对各种对象的语义分割和变化检测任务的实验表明，RSM的有效性。通过简单的模型架构和训练方法，RSM在VHR遥感密集预测任务上实现了最先进的性能。本研究的代码将在https://github.com/walking-shadow/Official_Remote_Sensing_Mamba上提供。

论文旨在解决如何处理大型高分辨率遥感图像进行密集预测任务的问题，同时保留上下文信息。

提出了一种名为Remote Sensing Mamba (RSM)的模型，用于处理大型高分辨率遥感图像的密集预测任务。该模型使用了全局建模和线性复杂度的方案，采用全向选择性扫描模块来处理来自不同方向的大型空间特征。

论文通过实验验证了RSM模型在语义分割和变化检测任务中的有效性，并取得了最先进的性能。研究者还公开了代码，方便其他研究者进行相关研究。

与该论文相关的研究包括：1. Spatial-Channel-Depth Attention Network for High-Resolution Remote Sensing Image Scene Classification；2. Dense Multi-Task Learning for High-Resolution Remote Sensing Image Analysis；3. Multi-Scale Dense Networks for High-Resolution Remote Sensing Image Segmentation。