HyperSIGMA: Hyperspectral Intelligence Comprehension Foundation Model

基础模型（FMs）正在革新遥感（RS）场景的分析和理解，包括航空RGB、多光谱和SAR图像。然而，光谱信息丰富的高光谱图像（HSIs）并没有看到FMs的广泛应用，现有方法通常局限于特定任务且缺乏通用性。为了填补这一空白，我们介绍了HyperSIGMA，这是一个基于视觉Transformer的基础模型，可扩展到超过10亿个参数，用于HSI解释。为了解决HSI中的光谱和空间冗余挑战，我们引入了一种新颖的稀疏采样注意力（SSA）机制，有效促进了多样化上下文特征的学习，并作为HyperSIGMA的基本块。HyperSIGMA使用特别设计的光谱增强模块将空间和光谱特征集成在一起。此外，我们构建了一个大规模的高光谱数据集HyperGlobal-450K用于预训练，其中包含约450K个高光谱图像，规模显著超过现有数据集。对各种高级和低级HSI任务的广泛实验表明，与当前最先进的方法相比，HyperSIGMA具有多样性和更优越的表征能力。此外，HyperSIGMA在可扩展性、鲁棒性、跨模态转移能力和实际应用方面表现出显着优势。

本论文旨在解决高光谱图像在基础模型应用方面的困难，提出了一种基于Transformer的基础模型HyperSIGMA，并设计了一种新的稀疏采样注意机制(SSA)来处理高光谱图像中的光谱和空间冗余问题。

HyperSIGMA是一种基于Transformer的基础模型，能够处理高光谱图像中的光谱和空间冗余问题，并且通过特殊设计的光谱增强模块将空间和光谱特征结合起来。

论文提出了一种新的基于Transformer的基础模型HyperSIGMA，并设计了一种新的稀疏采样注意机制(SSA)来处理高光谱图像中的光谱和空间冗余问题。此外，论文还构建了一个大规模高光谱数据集HyperGlobal-450K，并在各种高级和低级高光谱任务上进行了广泛的实验，证明了HyperSIGMA的可扩展性、鲁棒性、跨模态传递能力和实际应用性。

最近的相关研究包括使用深度学习方法进行高光谱图像分类和超分辨率重建等任务的研究，如《Hyperspectral Image Classification with Deep Learning Models》和《Hyperspectral Image Super-Resolution with Dilated Convolutional Neural Networks》。