Using diffusion model as constraint: Empower Image Restoration Network Training with Diffusion Model

随着深度学习的出现，图像修复取得了惊人的进展。以前的方法通常依赖于设计强大的网络架构来提高性能，然而，修复结果的自然视觉效果受到颜色和纹理失真的限制。除了视觉感知质量，恢复语义感知也是修复图像时重要但经常被忽视的方面，这对于在高级任务中的部署至关重要。在本文中，我们提出了一种新的视角来解决这些问题，引入了一种以自然为导向和语义感知为导向的优化机制，称为DiffLoss。具体来说，受自然图像生成扩散模型强大的分布覆盖能力的启发，我们利用扩散模型的马尔科夫链采样属性，将现有网络的修复结果投影到采样空间中。此外，我们揭示了扩散模型的瓶颈特征，也称为h空间特征，是一种自然的高级语义空间。我们深入研究了这个特性，并提出了一种语义感知损失，进一步发掘其语义感知恢复的潜力，为连接图像修复任务和下游高级识别任务铺平了道路。通过这两种策略，DiffLoss可以赋予现有的修复方法更自然和语义感知的结果。我们在大量常见的图像修复任务和基准测试中验证了我们方法的有效性。代码将在https://github.com/JosephTiTan/DiffLoss上提供。

论文旨在通过引入自然性导向和语义感知的优化机制，解决图像修复中存在的颜色和纹理失真以及语义感知恢复不足的问题。同时，试图将图像修复任务与高级任务之间的联系更加紧密。

DiffLoss是一种新型的优化机制，通过将现有网络的恢复结果投影到扩散模型的采样空间中，并利用扩散模型的Markov链采样属性，以及扩散模型的瓶颈特征（h-space feature）作为自然高级语义空间，提出了一种语义感知损失，以进一步发挥其语义感知恢复的潜力。

论文提出的DiffLoss能够为现有的图像修复方法提供更自然和语义感知的结果。实验结果表明，DiffLoss在常见的图像修复任务和基准测试中都取得了良好的效果。作者还提供了开源代码。

最近在这个领域中，还有一些相关的研究，例如：“Deep Image Prior”、“Image Super-Resolution Using Very Deep Residual Channel Attention Networks”等。