SwinFuSR: an image fusion-inspired model for RGB-guided thermal image super-resolution

热成像在各种应用中起着至关重要的作用，但常见红外（IR）相机固有的低分辨率限制了其有效性。传统的超分辨率（SR）方法由于缺乏高频细节，通常难以处理热图像。引导式SR利用来自高分辨率图像（通常在可见光谱中）的信息，以增强从低分辨率输入重建高分辨率IR图像的过程。受SwinFusion启发，我们提出了基于Swin transformer的引导式SR架构SwinFuSR。然而，在现实情况下，引导模态（例如RBG图像）可能会丢失，因此我们提出了一种训练方法，以提高模型在这种情况下的鲁棒性。我们的方法参数少，并且在峰值信噪比（PSNR）和结构相似性（SSIM）方面优于现有技术水平。在PBVS 2024热图像超分辨率挑战赛的第二轨中，它在PSNR指标上获得第三名。我们的代码和预训练权重可在https://github.com/VisionICLab/SwinFuSR上获取。

论文旨在解决红外热成像图像超分辨率重建中低分辨率和缺乏高频细节的问题，提出了一种基于Swin transformer的引导超分辨率模型，并提出了一种训练方法来提高模型在缺失引导模态的情况下的鲁棒性。

论文提出了一种基于Swin transformer的引导超分辨率模型，利用高分辨率可见光图像指导低分辨率红外热成像图像的重建，并提出了一种训练方法来提高模型在缺失引导模态的情况下的鲁棒性。

论文提出的SwingFuSR模型在PBVS 2024 Thermal Image Super-Resolution Challenge中在PSNR指标上取得了第三名的成绩，并在Peak Signal to Noise Ratio (PSNR)和Structural SIMilarity (SSIM)方面优于当前状态-of-the-art模型。论文提供了代码和预训练权重，并使用了公开数据集。

与该论文相关的研究包括传统的超分辨率方法和引导超分辨率方法，如基于卷积神经网络的SRCNN、ESPCN、EDSR、RCAN等模型，以及基于transformer的引导超分辨率方法，如SwinFusion等。