Coarse-Fine Spectral-Aware Deformable Convolution For Hyperspectral Image Reconstruction

本文研究了编码光阑快照光谱成像（CASSI）的反问题，该方法使用快照二维测量捕获空间 - 光谱数据立方体，并使用算法重建三维高光谱图像（HSI）。然而，目前基于卷积神经网络（CNN）的方法难以捕捉长程依赖和非局部相似性。最近流行的基于Transformer的方法由于自我注意力引起的高计算成本而难以用于下游任务。因此，本文提出了一种新的方法——粗细光谱感知可变形卷积网络（CFSDCN），首次将可变形卷积网络（DCN）应用于此任务。考虑到HSI的稀疏性，我们设计了一个可变形卷积模块，利用其可变性来捕捉长程依赖和非局部相似性。此外，我们提出了一种新的光谱信息交互模块，考虑到粗粒度和细粒度光谱相似性。大量实验表明，我们的CFSDCN在模拟和真实HSI数据集上都明显优于以前的最先进方法。

本论文旨在解决Coded Aperture Snapshot Spectral Imaging (CASSI)的逆问题，即使用快照2D测量捕获空间-光谱数据立方体，并使用算法重建3D高光谱图像（HSI），同时解决当前基于卷积神经网络（CNNs）的方法难以捕捉长距离依赖性和非局部相似性的问题。

本论文提出了Coarse-Fine Spectral-Aware Deformable Convolution Network（CFSDCN）的解决方案，将可变形卷积网络（DCN）首次应用于这个任务。考虑到HSI的稀疏性，设计了一个可变形卷积模块，利用其可变形性来捕捉长距离依赖性和非局部相似性。此外，还提出了一种新的光谱信息交互模块，考虑了粗粒度和细粒度光谱相似性。实验结果表明，CFSDCN在模拟和真实HSI数据集上显著优于以前的最先进方法。

本论文的亮点包括：1）提出了一种新的CFSDCN模型，相比于当前领域的研究，具有更好的性能。2）设计了一个可变形卷积模块和一个新的光谱信息交互模块，能够更好地捕捉长距离依赖性和非局部相似性。3）在多个数据集上进行了广泛的实验，证明了CFSDCN的有效性。4）该工作提供了开源代码。

在这个领域的相关研究包括：1）使用CNN的HSI重建方法，如DeepHSI和HSI-CNN。2）使用Transformer的HSI重建方法，如HSI-Transformer。3）使用可变形卷积网络的图像重建方法，如Deformable Convolutional Networks for Image Restoration。