Photo-Realistic Image Restoration in the Wild with Controlled Vision-Language Models

虽然扩散模型已成功应用于各种图像恢复任务，但它们的性能对训练数据集的选择非常敏感。通常情况下，特定数据集中训练的扩散模型无法恢复具有分布外降解的图像。为了解决这个问题，本文利用了一个强大的视觉语言模型和一个合成降解管道来学习野外图像恢复（wild IR）。更具体地说，所有低质量图像都是用一个合成降解管道模拟出来的，其中包含多种常见的降解，如模糊、调整大小、噪声和JPEG压缩。然后，我们引入了一个鲁棒的训练方法，用于降解感知的CLIP模型，以提取丰富的图像内容特征，以帮助高质量图像恢复。我们的基础扩散模型是图像恢复SDE（IR-SDE）。在此基础上，我们进一步提出了一种后验采样策略，用于快速无噪声图像生成。我们在合成和真实际际降解数据集上评估了我们的模型。此外，统一的图像恢复任务的实验表明，所提出的后验采样改善了各种降解的图像生成质量。

解决问题的主要目标是学习如何对图像进行有效的修复，特别是针对野外环境下的图像修复问题。

利用视觉语言模型和合成降级管道进行野外图像修复的鲁棒训练。

论文提出了一种基于合成降级管道的野外图像修复方法，并使用CLIP模型提取图像内容特征辅助高质量图像修复。此外，还提出了一种快速无噪声图像生成的后验采样策略，并在多个数据集上进行了实验验证。

最近的相关研究包括：《Deep Image Prior》、《Blind Image Restoration via Deep Multi-scale Component Dictionaries》、《A Review of Image Denoising Algorithms》等。