Correlation Matching Transformation Transformers for UHD Image Restoration

本文提出了UHDformer，一种用于超高清图像恢复的通用Transformer。UHDformer包含两个学习空间：（a）高分辨率空间中的学习和（b）低分辨率空间中的学习。前者学习多级高分辨率特征，融合低高特征并重构残差图像，而后者从高分辨率特征中学习更具代表性的特征，以促进更好的恢复。为了更好地提高低分辨率空间中的特征表示，我们建议从高分辨率空间到低分辨率空间构建特征转换。为此，我们提出了两个新模块：双路径相关匹配转换模块（DualCMT）和自适应通道调制器（ACM）。DualCMT从最大池化/平均池化高分辨率特征中选择前C/r（r大于或等于1，控制压缩级别）个相关通道来替换Transformer中的低分辨率特征，可以有效地压缩无用内容以提高低分辨率空间中的特征表示，从而促进更好的恢复。ACM被利用来自适应调制多级高分辨率特征，使其能够为低分辨率空间提供更有用的特征以进行更好的学习。实验结果表明，与大多数最先进的方法相比，我们的UHDformer模型大小减少了约97％，同时在三个UHD图像恢复任务（包括低光图像增强，图像去雾和图像去模糊）的不同训练集上显着提高了性能。源代码将在https://github.com/supersupercong/UHDformer上提供。

本文旨在提出一种适用于超高清图像恢复的通用Transformer模型，解决低光图像增强、图像去雾和图像去模糊等任务中的问题。

UHDformer包含两个学习空间：高分辨率空间和低分辨率空间。通过从高分辨率空间到低分辨率空间的特征转换，提高低分辨率空间的特征表示能力，并且通过新的模块DualCMT和ACM来实现特征转换。

实验结果表明，相对于大多数最先进的方法，UHDformer的模型大小减少了约97％，同时在不同的训练集上显着提高了性能。论文提供了开源代码。

在这个领域中，还有一些相关的研究，如RCAN、EDSR和SRGAN等。