MRIR: Integrating Multimodal Insights for Diffusion-based Realistic Image Restoration

实际图像恢复是计算机视觉中至关重要的任务，使用基于扩散的模型进行图像恢复由于能够产生逼真的结果而受到了广泛关注。然而，由于图像退化的严重程度和扩散模型的不可控性，所生成的图像质量仍然是一个重要的挑战。在这项工作中，我们深入探讨利用预训练稳定扩散进行图像恢复的潜力，并提出了MRIR，一种具有多模态洞察力的基于扩散的恢复方法。具体而言，我们从两个方面探索这个问题：文本层面和视觉层面。对于文本层面，我们利用预训练的多模态大型语言模型的能力从低质量图像中推断出有意义的语义信息。此外，我们采用CLIP图像编码器和设计的Refine Layer来捕捉图像细节作为补充。对于视觉层面，我们主要关注像素级控制。因此，我们利用像素级处理器和ControlNet来控制空间结构。最后，我们将上述控制信息集成到去噪U-Net中，使用多级注意机制实现了具有多模态洞察力的可控图像恢复。定性和定量结果表明，我们的方法在合成和真实数据集上均优于其他最先进的方法。

本文旨在通过利用预训练的稳定扩散模型，提出一种基于多模态洞察的图像恢复方法，以解决图像恢复中存在的质量问题和扩散模型的不可控性。

本文提出了MRIR方法，结合文本层面和视觉层面的控制信息，利用多级注意机制将控制信息融入去噪U-Net模型中，实现可控的图像恢复。

本文的亮点在于：1. 结合文本和视觉信息进行图像恢复，提高了图像恢复的质量；2. 使用了多级注意机制将控制信息融入模型，实现了可控的图像恢复；3. 在合成和真实数据集上均取得了优于其他最先进方法的效果。

最近的相关研究包括：1.《Image Restoration Using Multimodal Hierarchical Models》；2.《Multimodal Unsupervised Image-to-Image Translation》；3.《A Survey of Deep Learning-based Image Denoising Techniques》等。