SGDFormer: One-stage Transformer-based Architecture for Cross-Spectral Stereo Image Guided Denoising

跨光谱图像引导去噪已经展现出了它在恢复具有丰富细节的清晰图像方面的巨大潜力，例如使用近红外图像来引导可见光图像的去噪过程。获得这样的图像对的可行和经济的方法是采用立体系统，这在移动设备上被广泛使用。目前的研究尝试生成一个对齐的引导图像来处理两个图像之间的视差。然而，由于遮挡、光谱差异和噪声降级，对齐的引导图像通常存在幽灵和伪影，导致去噪结果不令人满意。为了解决这个问题，我们提出了一个名为SGDFormer的基于一阶段变压器架构的跨光谱立体图像引导去噪方法。该架构将立体图像的对应建模和特征融合集成到一个统一的网络中。我们的变压器块包含一个抗噪的跨注意力(NRCA)模块和一个空间可变特征融合(SVFF)模块。NRCA模块以粗到细的方式捕捉两个图像的长距离对应关系，以减轻噪声的干扰。SVFF模块通过动态选择有用信息进一步增强显著结构并抑制有害伪影。由于以上设计，我们的SGDFormer可以恢复没有伪影的带有细节结构的图像，并在各种数据集上实现了最先进的性能。此外，我们的SGDFormer可以扩展到处理其他不对齐的跨模型引导恢复任务，例如引导深度超分辨率。

本论文旨在解决通过使用近红外图像引导可见光图像去噪的问题。当前的方法在处理由于遮挡、光谱差异和噪声退化等因素导致的对齐引导图像存在鬼影和伪影的问题。

本论文提出了一种基于Transformer的单阶段架构SGDFormer，用于跨光谱立体图像引导去噪。该架构将立体图像的对应建模和特征融合整合到一个统一的网络中。NRCA模块以粗到细的方式捕获两个图像的长程对应关系以减轻噪声的干扰。SVFF模块通过动态选择有用信息进一步增强显着结构并抑制有害伪影。由于以上设计，SGDFormer可以恢复无伪影的细节结构图像，并在各种数据集上实现了最先进的性能。此外，SGDFormer还可以扩展到处理其他不对齐的跨模型引导恢复任务，如引导深度超分辨率。

本论文的亮点包括：使用Transformer构建了一个单阶段架构；NRCA模块和SVFF模块分别解决了长程对应关系和特征融合的问题；在各种数据集上实现了最先进的性能；可以扩展到处理其他不对齐的跨模型引导恢复任务。

在这个领域中，最近的相关研究包括：CrossNet，Deep Cross-Modality Adaptation via Semantics Preserving Adversarial Learning，Cross-Spectral Local Descriptors via Quadruplet Network，等等。