ChangeMamba: Remote Sensing Change Detection with Spatio-Temporal State Space Model

本文介绍了卷积神经网络（CNN）和Transformer在遥感变化检测（CD）领域取得的显著进展，但这两种架构都存在固有的缺点。最近，基于状态空间模型的Mamba架构在一系列自然语言处理任务中表现出了卓越的性能，可以有效弥补上述两种架构的缺点。本文首次探索了Mamba架构在遥感CD任务中的潜力，为二元变化检测（BCD）、语义变化检测（SCD）和建筑损伤评估（BDA）量身定制了相应的框架，分别称为MambaBCD、MambaSCD和MambaBDA。所有三个框架都采用最先进的Visual Mamba架构作为编码器，可以从输入图像中完全学习全局空间上下文信息。对于所有三种架构都可用的变化解码器，我们提出了三种时空关系建模机制，可以自然地与Mamba架构相结合，并充分利用其属性，以实现多时相特征的时空交互，从而获得准确的变化信息。在五个基准数据集上，我们的提出的框架在不使用任何复杂的训练策略或技巧的情况下，优于当前基于CNN和Transformer的方法，充分展示了Mamba架构在CD任务中的潜力。具体而言，在三个BCD数据集SYSU、LEVIR-CD+和WHU-CD上，我们获得了83.11％、88.39％和94.19％的F1分数；在SCD数据集SECOND上，我们获得了24.11％的SeK；在BDA数据集xBD上，我们获得了81.41％的总体F1分数。进一步的实验证明，我们的架构对降级数据非常稳健。源代码将在https://github.com/ChenHongruixuan/MambaCD上提供。

本论文旨在探索Mamba架构在遥感变化检测任务中的潜力，并针对二元变化检测、语义变化检测和建筑损伤评估等任务提出相应的框架。

论文采用Visual Mamba作为编码器，提出三种时空关系建模机制，充分利用Mamba架构的属性实现多时相特征的时空交互，从而获得准确的变化信息。

论文在五个基准数据集上实现了优于当前CNN和Transformer方法的表现，同时展示了Mamba架构在遥感变化检测任务中的潜力。实验结果表明该架构对降质数据具有很强的鲁棒性。研究者提供了开源代码。

当前在该领域中还有一些相关研究，如《Deep Learning for Change Detection in Remote Sensing: A Review》、《Change Detection in Remote Sensing Images Using Conditional Generative Adversarial Networks》等。