FusionMamba: Efficient Image Fusion with State Space Model

图像融合旨在通过将具有有限光谱信息的高分辨率图像与具有丰富光谱数据的低分辨率图像相结合，生成高分辨率的多光谱/高光谱图像。目前，基于深度学习的图像融合方法主要依赖于CNN或Transformers来提取特征并合并不同类型的数据。虽然CNN高效，但它们的感受野有限，限制了它们捕捉全局上下文的能力。相反，Transformers擅长学习全局信息，但受到它们的二次复杂度的限制。幸运的是，最近状态空间模型（SSM）的进展，特别是Mamba，通过启用线性复杂度的全局意识，为解决这个问题提供了一个有前途的解决方案。然而，在信息融合领域，尤其是图像融合中，对SSM潜力的探索尝试很少。因此，我们提出了FusionMamba，一种高效的图像融合方法。我们的贡献主要集中在两个方面。首先，我们认识到来自不同来源的图像具有不同的特性，因此我们将Mamba块纳入两个U型网络中，提出了一种新的体系结构，以高效、独立和分层的方式提取空间和光谱特征。其次，为了有效地结合空间和光谱信息，我们扩展了Mamba块以适应双重输入。这种扩展导致了一个名为FusionMamba块的新模块的创建，它优于现有的融合技术，如串联和交叉注意力。为了验证FusionMamba的有效性，我们在与三种图像融合任务相关的五个数据集上进行了一系列实验。定量和定性评估结果表明，我们的方法实现了最先进的性能（SOTA），突显了FusionMamba的优越性。

本论文旨在提出一种新的图像融合方法，通过整合来自不同来源的高分辨率和低分辨率图像，生成高分辨率的多/高光谱图像。同时，论文还试图解决当前深度学习方法在图像融合中存在的局限性，如卷积神经网络（CNN）的感受野有限和Transformer的二次复杂度问题。

论文提出了一种名为FusionMamba的新型图像融合方法，将Mamba块引入到两个U型网络中，以一种高效、独立和分层的方式提取空间和光谱特征，并将Mamba块扩展以适应双输入，从而有效地结合空间和光谱信息。

论文在五个数据集上进行了一系列实验，涉及三个图像融合任务。实验结果表明，FusionMamba方法在定量和定性评估方面均取得了最先进的性能，优于现有的融合技术，如串联和交叉注意力。

在近期的相关研究中，也有一些关于图像融合的工作，如“Multi-focus image fusion based on convolutional neural network with low-rank representation”和“Multi-focus image fusion using a deep convolutional neural network”。