Ultra-High-Definition Restoration: New Benchmarks and A Dual Interaction Prior-Driven Solution

本文构建了名为UHD-Snow和UHD-Rain的UHD雪雨基准，以弥补该领域的不足。通过考虑雨/雪的物理过程来建立UHD-Snow/UHD-Rain，每个基准包含3200个4K分辨率的降级/清晰图像对。此外，我们通过在模型设计中考虑梯度和法线先验来提出了一种有效的UHD图像恢复解决方案，因为这些先验对空间和细节的贡献。具体而言，我们的方法包含两个分支：（a）高分辨率空间中的特征融合和重建分支和（b）低分辨率空间中的先验特征交互分支。前者学习高分辨率特征，并融合先验引导的低分辨率特征以重建清晰图像，而后者利用法线和梯度先验来挖掘有用的空间特征和细节特征，以更好地指导高分辨率恢复。为了更好地利用这些先验，我们引入了单先验特征交互和双先验特征交互，前者分别将法线和梯度先验与高分辨率特征融合以增强先验，后者计算增强的先验之间的相似度，并进一步利用双向引导滤波来提高双先验的特征交互。我们在新的和现有的公共数据集上进行了实验，并展示了我们的方法在UHD图像低光增强、UHD图像去噪和UHD图像去雨中的最先进表现。源代码和基准可在\url{https://github.com/wlydlut/UHDDIP}上获得。

解决问题：论文旨在解决超高清图像恢复问题，构建了UHD-Snow和UHD-Rain两个基准数据集，提出了一种考虑梯度和法线先验的UHD图像恢复解决方案。

关键思路：该方法包含两个分支，一个是高分辨率空间的特征融合和重建分支，另一个是低分辨率空间的先验特征交互分支，利用梯度和法线先验来指导高分辨率恢复。

其他亮点：论文构建了两个基准数据集，提出了一种新颖的先验特征交互方法，并在UHD图像低光增强、去噪和去雨方面实现了最先进的性能。论文提供了代码和数据集。

相关研究：该领域的相关研究包括《Deep Residual Learning for Image Restoration》、《Image Restoration Using Convolutional Auto-encoders with Symmetric Skip Connections》等。