One-Step Effective Diffusion Network for Real-World Image Super-Resolution

由于其强大的生成图像先验知识，预训练的文本到图像扩散模型越来越多地被用于解决实际的图像超分辨率（Real-ISR）问题。现有方法中，大多数从随机噪声开始，在给定低质量（LQ）图像的指导下重建高质量（HQ）图像。虽然已经取得了有希望的结果，但这些Real-ISR方法需要多个扩散步骤才能重现HQ图像，从而增加了计算成本。同时，随机噪声会引入输出的不确定性，这对于图像恢复任务来说是不友好的。为了解决这些问题，我们提出了一种一步有效扩散网络，即OSEDiff，用于Real-ISR问题。我们认为，LQ图像包含了恢复其HQ对应物所需的丰富信息，因此可以直接将给定的LQ图像作为扩散的起点，消除了随机噪声采样引入的不确定性。我们通过可训练层微调预训练的扩散网络，以适应复杂的图像退化。为了确保一步扩散模型能够产生HQ Real-ISR输出，我们在潜在空间中应用变分分数蒸馏进行KL散度正则化。因此，我们的OSEDiff模型可以在一步扩散中高效有效地生成HQ图像。我们的实验表明，OSEDiff在客观指标和主观评价方面实现了与先前需要数十甚至数百步的扩散模型的Real-ISR方法相当或甚至更好的结果。源代码将在https://github.com/cswry/OSEDiff发布。

本文旨在解决实际图像超分辨率（Real-ISR）问题，即如何在给定低质量（LQ）图像的指导下，生成高质量（HQ）图像。同时，本文试图减少计算成本和消除随机噪声带来的不确定性。

本文提出了一种名为OSEDiff的一步有效扩散网络，将给定的LQ图像直接作为起点，消除了随机噪声的不确定性，并通过可训练层微调预训练扩散网络以适应复杂的图像退化。通过变分分数蒸馏在潜在空间中进行KL-散度正则化，确保一步扩散模型能够产生HQ Real-ISR输出。

本文提出的OSEDiff模型能够在一个扩散步骤中高效地生成HQ图像，并且在客观指标和主观评价上实现了与以往需要数十次或数百次步骤的扩散模型的Real-ISR方法相当甚至更好的结果。实验使用了多个数据集，并且提供了开源代码。

最近的相关研究包括“Diffusion Models Beat GANs on Image Synthesis”和“Image Super-Resolution via Iterative Refinement and Convolutional Neural Network”。