BlindDiff: Empowering Degradation Modelling in Diffusion Models for Blind Image Super-Resolution

Diffusion models (DM)在图像超分辨率（SR）中取得了显著的成果。然而，它们大多数是为解决具有固定已知退化设置的非盲反问题而量身定制的，这限制了它们对涉及复杂未知退化的实际应用的适应性。在这项工作中，我们提出了BlindDiff，一种基于DM的盲SR方法，以解决SISR中的盲退化设置。BlindDiff将基于MAP的优化无缝地集成到DM中，构建了LR观察、HR数据和退化核的联合分布，用于数据和核先验，并通过展开MAP方法以及反向过程来解决盲SR问题。与大多数DM不同的是，BlindDiff首先提出了一个调制条件变换器（MCFormer），该变换器使用噪声和核约束进行预训练，并进一步作为后验采样器提供两个先验同时。然后，我们在相邻采样迭代之间插入了一个简单但有效的核感知梯度项，指导扩散模型学习退化一致性知识。这也使得通过观察先前去噪样本来联合完善退化模型和HR图像成为可能。通过基于MAP的反向扩散过程，我们展示了BlindDiff在模糊核估计和HR图像恢复方面的交替优化，以相互增强的方式进行。在合成和真实世界数据集上的实验表明，BlindDiff相对于最近的基于DM的方法，实现了最先进的性能，并显著降低了模型复杂度。代码将在\url{https://github.com/lifengcs/BlindDiff}上提供。

本文旨在解决图像超分辨率（SR）中的盲模糊问题，即未知退化设置的问题。这是一个新问题。

BlindDiff是一种基于扩散模型的盲SR方法，通过将MAP优化无缝集成到DM中，构建LR观测、HR数据和退化核的联合分布，通过展开MAP方法解决盲SR问题。与大多数DM不同的是，BlindDiff首先提出了一个经过噪声和核约束预训练的调制条件变压器（MCFormer），进一步作为后验采样器同时提供两个先验。然后，在相邻采样迭代之间插入一个简单但有效的核感知梯度项，引导扩散模型学习退化一致性知识。通过MAP反向扩散过程，BlindDiff在互相增强的方式下，提倡模糊核估计和HR图像恢复的交替优化。

本文的亮点包括：1.提出了一种基于扩散模型的盲SR方法BlindDiff；2.提出了调制条件变压器（MCFormer）作为后验采样器，同时提供两个先验；3.插入了一个核感知梯度项，引导扩散模型学习退化一致性知识；4.实验结果表明，BlindDiff在合成和真实数据集上均取得了最先进的性能，相比最近的DM方法，模型复杂度显著降低；5.代码开源。

最近的相关研究包括：1.《U2-Net: Going Deeper with Nested U-Structure for Salient Object Detection》；2.《Deep Learning for Blind Super-Resolution with Iterative Kernel Correction》；3.《Deep Unfolding Network for Image Super-Resolution》等。