论文地址：https://arxiv.org/pdf/2111.07910.pdf

开源代码：https://github.com/caiyuanhao1998/MST/

摘要

高光谱图像（HSI）重建旨在从编码的光圈快照光谱成像（CASSI）系统中的2D测量中恢复3D空间光谱信号。 HSI表示高度相似，并且在光谱维度上相关。建模跨光谱相互作用对HSI重建是有益的。但是，现有的基于CNN的方法显示出捕获光谱相似性和远程依赖性的局限性。此外，HSI信息由CASSI中的编码光圈（物理掩码）调节。尽管如此，当前的算法尚未完全探索面罩对HSI恢复的指导效果。在本文中，我们提出了一个新颖的框架，掩盖了光谱Transformer（MST），用于HSI重建。具体而言，我们提出了光谱的多头自我注意事项（S-MSA），该自我注意力（S-MSA）将每个光谱特征视为令牌，并沿频谱维度计算自我注意力。此外，我们自定义了一种掩模引导的机制（MM），该机制指示SMSA注意具有高保真光谱表示的空间区域。广泛的实验表明，我们的MST在模拟和实际HSI数据集上的最先进方法（SOTA）的表现显着胜过，同时需要大幅更便宜的计算和内存成本。

 

主要贡献

我们的贡献可以总结如下：

  • 我们为HSI重建提出了一种新方法MST。据我们所知，这是探索在此任务中探索变压器潜力的首次尝试。
  • 我们提出了一个新颖的自我注意事项S-MSA，以捕获HSIS的跨光谱相似性和依赖性。
  • 我们定制一个指导S-MSA注意具有高保真性HSI表示的地区的MM。
  • 我们的MST在模拟中的所有场景上都大大优于SOTA方法，同时需要更便宜的参数和拖鞋。此外，MST在实际HSI重建中产生更令人愉悦的结果。

实验

我们在 Pytorch 中实现 MST。所有模型都使用 Adam优化器（β1 = 0.9 和 β2 = 0.999）训练 300 个 epoch。开始时学习率设置为 4×10-4，在训练过程中每 50 个 epoch 减半。在对模拟数据进行实验时，将从 3D 立方体裁剪的空间大小为 256×256 的补丁输入到网络中。对于真实的高光谱图像重建，补丁大小设置为 660×660 以匹配真实世界的测量。离散度的移动步长 d 设置为 2。因此，模拟和真实 HSI 数据集的测量尺寸为 256×310 和 660×714。 MST 的第 i 阶段，反向色散的位移步长为 \( d/4^i \)，i = 0, 1, 2。批量大小为 5。随机翻转和旋转用于数据增强。这些模型在一个 RTX 8000 GPU 上进行训练。训练目标是最小化重建和真实 HSI 之间的均方根误差 (RMSE) 和频谱恒定性损失。

内容中包含的图片若涉及版权问题，请及时与我们联系删除