FusionMamba: Dynamic Feature Enhancement for Multimodal Image Fusion with Mamba

本文介绍了多模态图像融合的概念，旨在将不同模态的信息结合起来，创建具有全面信息和详细纹理的单一图像。然而，基于卷积神经网络的融合模型由于其专注于局部卷积操作而遇到了捕捉全局图像特征的限制。而基于Transformer的模型在全局特征建模方面表现出色，但由于其二次复杂度而面临计算挑战。最近，选择性结构状态空间模型展现出了具有线性复杂度的长程依赖建模的显著潜力，为解决上述困境提供了一个有前途的途径。本文提出了FusionMamba，一种新颖的基于Mamba的动态特征增强方法，用于多模态图像融合。具体而言，我们设计了一个改进的高效Mamba模型用于图像融合，将高效的视觉状态空间模型与动态卷积和通道注意力相结合。这个改进的模型不仅保持了Mamba和全局建模能力的性能，而且减少了通道冗余，同时增强了局部增强能力。此外，我们设计了一个动态特征融合模块（DFFM），包括两个动态特征增强模块（DFEM）和一个跨模态融合Mamba模块（CMFM）。前者用于动态纹理增强和动态差异感知，而后者增强模态之间的相关特征并抑制冗余的模态信息。FusionMamba在各种多模态医学图像融合任务（CT-MRI，PET-MRI，SPECT-MRI），红外和可见光图像融合任务（IR-VIS）和多模态生物医学图像融合数据集（GFP-PC）中表现出了最先进的性能（SOTA），证明了我们的模型具有泛化能力。FusionMamba的代码可在https://github.com/millieXie/FusionMamba获得。

本文旨在解决多模式图像融合中卷积神经网络无法捕捉全局图像特征的局限性和变压器模型的计算复杂度问题，提出了一种基于选择性结构状态空间模型的动态特征增强方法，名为FusionMamba。

FusionMamba方法结合了高效的视觉状态空间模型、动态卷积和通道注意力技术，同时降低了通道冗余和提高了局部增强能力。此外，该方法还设计了动态特征融合模块，包括两个动态特征增强模块和一个跨模态融合模块。

FusionMamba在多种多模态医学图像融合任务（CT-MRI、PET-MRI、SPECT-MRI）、红外和可见光图像融合任务（IR-VIS）以及多模态生物医学图像融合数据集（GFP-PC）上实现了最先进的性能。该方法的代码已经在GitHub上开源。

最近在这个领域中，还有一些相关的研究，如《A Novel Multi-Modal Medical Image Fusion Method Based on the Attention Mechanism》、《Multi-modal Medical Image Fusion Based on Improved DenseNet and Attention Mechanism》等。