- 简介高效地提取光谱序列和地理空间信息一直是高光谱图像分类中的热门话题。在光谱序列特征捕获方面,由于其长程特征捕获能力,RNN和Transformer已成为主流分类框架。在空间信息聚合方面,CNN通过增强感受野尽可能保留集成的空间信息。然而,光谱特征捕获架构具有低计算效率,而CNN缺乏感知空间上下文信息的灵活性。为解决这些问题,本文提出了GraphMamba——一种高效的图结构学习视觉Mamba分类框架,充分考虑HSI特性以实现深度空间光谱信息挖掘。具体而言,我们提出了一种新颖的高光谱视觉GraphMamba处理范式(HVGM),通过构建空间光谱立方体来保留空间光谱特征,并利用线性光谱编码来增强后续任务的可操作性。GraphMamba的核心组件包括用于提高计算效率的HyperMamba模块和用于自适应空间上下文感知的SpectralGCN模块。HyperMamba通过采用全局掩码(GM)来缓解杂波干扰,并引入并行训练推理架构来缓解计算瓶颈。SpatialGCN则采用加权多跳聚合(WMA)空间编码,以便聚焦高度相关的空间结构特征,从而在缓解空间噪声干扰的同时灵活地聚合上下文信息。在三个不同尺度的真实HSI数据集上进行了大量实验,并与最先进的分类框架进行了比较,结果表明GraphMamba实现了最佳性能。
- 图表
- 解决问题本文旨在解决高光谱图像分类中的光谱序列特征提取效率低和卷积神经网络在感知空间上下文信息时缺乏灵活性的问题。
- 关键思路本文提出了一种名为GraphMamba的图结构学习模型,采用HVGM处理范式来构建空间-光谱立方体以保留空间-光谱特征,并利用线性光谱编码来增强后续任务的可操作性。GraphMamba包括HyperMamba和SpectralGCN两个核心组件,其中HyperMamba通过全局掩码(GM)减少杂波干扰,并引入并行训练推理架构来缓解计算瓶颈,而SpectralGCN则通过加权多跳聚合(WMA)空间编码来聚合上下文信息并减少空间噪声干扰。
- 其它亮点本文在三个不同尺度的真实高光谱数据集上进行了广泛的实验,并与现有的分类框架进行比较,结果表明GraphMamba达到了最优性能。此外,本文提出的HVGM处理范式和SpectralGCN模块可用于其他高光谱图像处理任务。
- 最近的相关研究包括:1)使用深度学习进行高光谱图像分类的研究;2)光谱序列特征提取的研究,如使用RNN和Transformer等模型;3)在高光谱图像分类中使用图神经网络的研究。
沙发等你来抢
去评论
评论
沙发等你来抢