Mamba meets crack segmentation

裂缝对基础设施构成安全风险，不容忽视。现有的裂缝分割网络中，卷积神经网络（CNNs）或Transformer是主流结构。然而，CNNs在全局建模能力方面存在不足，限制了对整个裂缝特征的表达。Transformer可以捕捉长距离依赖关系，但复杂度高且呈二次增长。最近，由于其线性空间和计算复杂度以及强大的全局感知能力，Mamba引起了广泛关注。本研究探讨了Mamba对裂缝特征的表达能力。具体而言，本文揭示了Mamba与注意机制之间的联系，提供了深刻的见解，即注意力视角，用于解释Mamba并设计一个新的Mamba模块，遵循注意块的原则，即CrackMamba。我们将CrackMamba与最突出的视觉Mamba模块Vim和Vmamba在两个数据集上进行比较，包括沥青路面和混凝土路面裂缝以及钢裂缝。定量结果显示，CrackMamba是唯一一个始终在所有评估指标上提高基线模型性能的Mamba块，同时减少了其参数和计算成本。此外，本文证明了Mamba可以通过理论分析和视觉可解释性实现全局感受野。本研究的发现具有双重贡献。首先，作为一种即插即用、简单而有效的Mamba模块，CrackMamba展现出将被整合到各种裂缝分割模型中的巨大潜力。其次，将Mamba与注意机制相结合的创新设计概念，对所有基于Mamba的计算机视觉模型具有重要的参考价值，不仅限于本研究所调查的裂缝分割网络。

本文旨在解决裂缝分割网络中CNN和Transformer所存在的问题，提出了一种基于Mamba和注意力机制的新型Mamba模块CrackMamba，并探索了Mamba对于裂缝特征的表示能力。

本文提出了一种新型Mamba模块CrackMamba，将Mamba和注意力机制相结合，以解决CNN和Transformer的局限性，并证明了Mamba可以通过理论分析和视觉可解释性实现全局感受野。

本文通过在两个数据集上的实验验证了CrackMamba的有效性，证明其在各项评估指标上均能提升基线模型的性能，并减少了参数和计算成本。同时，本文的创新性Mamba设计概念对于所有基于Mamba的计算机视觉模型具有重要的参考价值。

最近的相关研究包括基于CNN和Transformer的裂缝分割网络，如DeepCrack和TransUNet等。