CSAKD: Knowledge Distillation with Cross Self-Attention for Hyperspectral and Multispectral Image Fusion

本文介绍了一种新的知识蒸馏（KD）框架，用于高分辨率（HR）多光谱图像（MSI）/低分辨率（LR）高光谱图像（HSI）融合，以实现LR-HSI的SR。我们的KD框架集成了提出的交叉层残差聚合（CLRA）块，以增强构建双两流（DTS）网络结构的效率，该结构旨在同时从LR-HSI和HR-MSI中提取联合和独特的特征。为了充分利用LR-HSI和HR-MSI的空间和光谱特征表示，我们提出了一种新颖的交叉自注意力（CSA）融合模块，以自适应地融合这些特征，以改善重建HR-HSI的空间和光谱质量。最后，采用了提出的基于KD的联合损失函数来共同训练教师和学生网络。我们的实验结果表明，学生模型不仅实现了可比或优越的LR-HSI SR性能，而且显著减少了模型大小和计算要求。这标志着对现有最先进方法的实质性进展。源代码可在https://github.com/ming053l/CSAKD获得。

解决问题：如何在资源受限的成像设备上进行高分辨率高光谱成像？

关键思路：提出一种基于知识蒸馏的高分辨率多光谱图像与低分辨率高光谱图像融合的方法，采用双流网络结构和交叉注意力融合模块实现特征提取和融合。

亮点：提出了一种基于知识蒸馏的高分辨率多光谱图像与低分辨率高光谱图像融合的方法，可以在资源受限的成像设备上进行高分辨率高光谱成像；采用双流网络结构和交叉注意力融合模块实现特征提取和融合，实现空间和光谱质量的提升；实验结果表明，该方法不仅可以达到与现有最先进方法相当或更好的低分辨率高光谱图像超分辨率性能，而且还可以显著减少模型大小和计算要求。

相关研究：最近在这个领域中，也有一些相关的研究，如《Hyperspectral and Multispectral Data Fusion: A Comparative Review of the Recent Literature》、《Hyperspectral and multispectral data fusion: A review of the recent literature》等。