Denoising as Adaptation: Noise-Space Domain Adaptation for Image Restoration

虽然基于深度学习的图像修复方法取得了重大进展，但由于在合成数据上训练导致的实际应用中的显著域差，它们仍然难以实现有限的泛化。现有的方法通过改进数据合成流程、估计降解核、采用深度内部学习以及执行域自适应和规范化来解决这个问题。以前的域自适应方法通过在特征空间或像素空间中学习域不变的知识来弥合域差。然而，这些技术往往难以在稳定且紧凑的框架内扩展到低级别视觉任务。在本文中，我们展示了通过使用扩散模型在噪声空间执行域自适应的可能性。特别地，通过利用多步去噪过程如何受到辅助条件输入的影响的独特属性，我们从噪声预测中获得有意义的梯度，逐渐将合成和实际数据的恢复结果对齐到一个共同的干净分布。我们将这种方法称为自适应去噪。为了防止训练过程中出现捷径，我们提出了有用的技术，如通道混洗和残差交换对比学习。在三个经典的图像修复任务，即去噪、去模糊和去雨水方面的实验结果证明了所提出方法的有效性。代码将在以下网址发布：https://github.com/KangLiao929/Noise-DA/。

本文试图通过噪声空间中的扩散模型实现域自适应，以解决深度学习图像恢复方法在真实场景中的泛化问题。

本文提出了一种新的域自适应方法，称为Denoising as Adaptation（DAA），通过噪声预测获得有意义的梯度，逐步将合成数据和真实数据的恢复结果对齐到一个共同的干净分布中。

本文的实验结果表明，DAA方法在三个经典的图像恢复任务中（去噪、去模糊和去雨），均取得了显著的效果。此外，本文还提出了一些有用的技术，如通道洗牌和残差交换对比学习，以防止训练过程中的捷径。作者还将代码开源。

在该领域的相关研究中，已有一些关于域自适应的方法，通常是在特征或像素空间中学习域不变的知识。但是，这些技术往往难以在一个稳定而紧凑的框架内扩展到低级视觉任务。例如，之前的一些研究采用了数据合成、估计退化核、内部深度学习和域自适应等方法来解决泛化问题。