SSUMamba: Spatial-Spectral Selective State Space Model for Hyperspectral Image Denoising

2024年05月02日
  • 简介
    去噪是高光谱图像处理中至关重要的预处理步骤,因为噪声来自于图像内部机制和环境因素。长程空间-光谱相关建模对于高光谱图像去噪是有益的,但往往伴随着高计算复杂度。基于状态空间模型(SSM),Mamba以其卓越的长程依赖建模能力和计算效率而闻名。在此基础上,我们引入了一种内存高效的空间-光谱UMamba(SSUMamba)用于高光谱图像去噪,其中空间-光谱连续扫描(SSCS)Mamba是核心组件。SSCS Mamba按照六种不同的顺序交替行、列和波段来生成序列,并使用双向SSM来利用长程空间-光谱依赖性。在每个顺序中,图像在相邻扫描之间重新排列以确保空间-光谱连续性。此外,3D卷积被嵌入到SSCS Mamba中,以增强局部空间-光谱建模。实验表明,与基于变压器的方法相比,SSUMamba在每个批次的内存消耗更低,实现了更优秀的去噪效果。源代码可在https://github.com/lronkitty/SSUMamba上获取。
  • 作者讲解
  • 图表
  • 解决问题
    本文旨在解决高光谱图像去噪问题,提出了一种基于状态空间模型的空间-光谱UMamba方法,旨在提高长距离空间-光谱依赖性建模的计算效率。
  • 关键思路
    本文提出了一种基于状态空间模型的空间-光谱UMamba方法,使用空间-光谱连续扫描(SSCS)Mamba作为核心组件,通过6种不同的顺序交替行、列和波段来生成序列,并使用双向SSM来利用长距离空间-光谱依赖关系。在每个顺序中,图像在相邻扫描之间重新排列以确保空间-光谱连续性。此外,还将3D卷积嵌入到SSCS Mamba中,以增强局部空间-光谱建模。
  • 其它亮点
    本文提出的UMamba方法在高光谱图像去噪方面取得了优异的结果,并且每批次的内存消耗比基于Transformer的方法更低。作者提供了源代码,并在GitHub上公开了。
  • 相关研究
    最近的相关研究包括使用深度学习进行高光谱图像去噪的研究,如基于卷积神经网络(CNN)和自编码器(AE)的方法。
许愿开讲
PDF
原文
点赞 收藏
向作者提问
NEW
分享到Link

提问交流

提交问题,平台邀请作者,轻松获得权威解答~

向作者提问