Dual Hyperspectral Mamba for Efficient Spectral Compressive Imaging

深度展开方法在通过卷积神经网络或变换器从2D测量中恢复3D高光谱图像（HSIs）方面取得了令人瞩目的进展。然而，它们不能有效地利用全局感受野捕捉长距离依赖关系，这严重限制了它们在HSI重建中的性能。此外，如果我们直接使用Mamba将2D特征图展开为1D序列以建模全局长距离依赖关系，则这些方法可能会受到局部上下文忽略的影响。为了解决这些挑战，我们提出了一种新颖的双高光谱Mamba（DHM），以探索全局长距离依赖关系和局部上下文，以实现高效的HSI重建。在学习估计CASSI系统降解模式的信息参数后，我们使用它们来缩放线性投影并提供去噪器的噪声水平（即我们提出的DHM）。具体而言，我们的DHM由多个双高光谱S4块（DHSBs）组成，以恢复原始HSIs。特别地，每个DHSB包含一个全局高光谱S4块（GHSB），用于使用全局感受野建模整个高分辨率HSIs上的长距离依赖关系，以及一个局部高光谱S4块（LHSB），用于通过在局部窗口内建立结构化状态空间序列（S4）模型来解决局部上下文忽略问题。实验证实了我们的DHM在HSI重建中的优势。源代码和模型将在https://github.com/JiahuaDong/DHM上提供。

本论文旨在解决通过卷积神经网络或Transformer等方法无法有效捕捉全局感受野的长距离依赖关系，从而限制了高光谱图像恢复的性能。

本文提出了一种新的双高光谱Mamba（DHM）方法，旨在同时探索全局长距离依赖关系和局部上下文，以实现高效的高光谱图像恢复。

本文提出的DHM方法包含多个双高光谱S4块（DHSB），以还原原始高光谱图像。每个DHSB包含一个全局高光谱S4块（GHSB），用于利用全局感受野建模整个高分辨率高光谱图像的长距离依赖关系，以及一个局部高光谱S4块（LHSB），用于在局部窗口内建立结构化状态空间序列（S4）模型以解决局部上下文忽略的问题。实验结果表明，DHM对于高光谱图像恢复具有显著的优势。

最近的相关研究包括：“Deep unfolding network for hyperspectral image restoration via spectral and spatial information fusion”和“Hyperspectral image restoration via deep hybrid network with spectral and spatial attention”。