A Novel State Space Model with Local Enhancement and State Sharing for Image Fusion

在图像融合任务中，来自不同来源的图像具有不同的特点。这推动了许多方法的发展，以探索更好的融合方式，同时保留它们各自的特征。Mamba作为一种状态空间模型，在自然语言处理领域中崭露头角。最近，许多研究尝试将Mamba扩展到视觉任务中。然而，由于图像的性质与普通语言序列不同，Mamba的有限状态容量削弱了其对图像信息的建模能力。此外，Mamba的序列建模能力只能处理空间信息，无法有效地捕捉图像中丰富的光谱信息。受到这些挑战的启发，我们定制和改进了专门为图像融合任务设计的视觉Mamba网络。具体而言，我们提出了本地增强的视觉Mamba块，称为LEVM。LEVM块可以提高网络的局部信息感知能力，并同时学习局部和全局空间信息。此外，我们提出状态共享技术，以增强空间细节并整合空间和光谱信息。最后，整个网络是基于视觉Mamba的多尺度结构，称为LE-Mamba。广泛的实验表明，所提出的方法在多光谱全色锐化和多光谱、高光谱图像融合数据集上取得了最先进的结果，并证明了所提出方法的有效性。代码将会公开。

本文旨在解决图像融合任务中存在的问题，即来自不同来源的图像具有不同的特征，需要寻找更好的方法来融合它们并保留各自的特征。

本文提出了一种基于改进的Mamba网络的多尺度结构LE-Mamba来解决图像融合任务。其中，本文提出了局部增强的视觉Mamba块（LEVM）来提高网络的局部信息感知能力，并同时学习局部和全局空间信息。此外，本文还提出了状态共享技术来增强空间细节并整合空间和光谱信息。

本文的亮点包括：提出了一种新的Mamba网络结构LE-Mamba来解决图像融合任务，其中包括局部增强的视觉Mamba块（LEVM）和状态共享技术；在多光谱全色增强和多光谱和高光谱图像融合数据集上取得了最先进的结果；实验结果表明，本文提出的方法是有效的。此外，本文还提供了代码。

在这个领域中，最近的相关研究包括：'Multispectral Image Fusion with a Deep Convolutional Neural Network'，'Hyperspectral and Multispectral Image Fusion Using a Convolutional Neural Network'等。