ChangeMamba: Remote Sensing Change Detection with Spatio-Temporal State Space Model

本文介绍了卷积神经网络（CNN）和Transformer在遥感变化检测（CD）领域取得的进展，但这两种架构都存在固有的缺点。最近，基于状态空间模型的Mamba架构在一系列自然语言处理任务中表现出了显著的性能，可以有效弥补上述两种架构的缺点。本文首次探索了Mamba架构在遥感CD任务中的潜力，为二元变化检测（BCD）、语义变化检测（SCD）和建筑损伤评估（BDA）量身定制了相应的框架MambaBCD、MambaSCD和MambaBDA。所有三个框架都采用最先进的Visual Mamba架构作为编码器，可以从输入图像中完全学习全局空间上下文信息。对于可在所有三种架构中使用的变化解码器，我们提出了三种时空关系建模机制，可以自然地与Mamba架构相结合，并充分利用其属性，实现多时相特征的时空交互，从而获得准确的变化信息。在五个基准数据集上，我们提出的框架不使用任何复杂的训练策略或技巧就优于当前基于CNN和Transformer的方法，充分展示了Mamba架构在CD任务中的潜力。具体而言，我们在三个BCD数据集SYSU、LEVIR-CD+和WHU-CD上获得了83.11%、88.39%和94.19%的F1得分；在SCD数据集SECOND上，我们获得了24.11%的SeK；在BDA数据集xBD上，我们获得了81.41%的总体F1得分。进一步的实验表明，我们的架构对降级数据非常鲁棒。源代码将在https://github.com/ChenHongruixuan/MambaCD上提供。

本文旨在探索基于状态空间模型的Mamba架构在遥感变化检测任务中的潜力，解决卷积神经网络（CNN）和Transformer架构的固有缺点。论文提出了三种框架，分别为二进制变化检测（BCD）、语义变化检测（SCD）和建筑损伤评估（BDA），并在五个基准数据集上进行了测试。

论文采用Visual Mamba架构作为编码器，提出了三种时空关系建模机制，与Mamba架构自然结合，充分利用其属性实现多时序特征的时空交互，从而获得准确的变化信息。

本文提出的MambaBCD、MambaSCD和MambaBDA框架在不使用任何复杂的训练策略或技巧的情况下，优于当前基于CNN和Transformer的方法。实验使用了五个基准数据集，并展示了该架构对降级数据的强健性。论文代码将在https://github.com/ChenHongruixuan/MambaCD上开源。

近期的相关研究包括：'Change Detection in Remote Sensing Images Using Deep Learning Methods: A Review'、'Change Detection in Synthetic Aperture Radar Images Based on Deep Learning: A Review'、'A Comprehensive Survey of Deep Learning for Image Change Detection in Remote Sensing'等。