Training-Free Large Model Priors for Multiple-in-One Image Restoration

图像恢复旨在从其降级版本中重建潜在的清晰图像。尽管已经取得了显著的成就，但现有方法主要集中于处理特定的降级类型，因此需要专门的模型，阻碍了在动态降级场景下的实际应用。为解决这个问题，我们提出了大型模型驱动的图像恢复框架（LMDIR），这是一种新颖的多合一图像恢复范例，利用大型多模式语言模型（MMLM）的通用先验知识和预训练扩散模型。具体而言，LMDIR集成了三个关键的先验知识：1）来自MMLM的全局降级知识，2）由MMLM生成的场景感知上下文描述，以及3）由MMLM描述引导的扩散模型合成的细粒度高质量参考图像。基于以上先验知识，我们的架构包括一个基于查询的提示编码器、注入全局降级知识的降级感知变换器块、融合场景描述的内容感知变换器块以及融合细粒度图像先验的基于参考的变换器块。这种设计有助于单阶段训练范例来处理各种降级，同时支持自动和用户引导的恢复。广泛的实验表明，我们设计的方法在多个评估基准上优于现有的竞争对手。

该论文旨在解决图像恢复中特定退化类型的限制，提出了一种利用大型多模态语言模型和预训练扩散模型的多合一图像恢复框架。

该论文的关键思路是将大型多模态语言模型中的全局退化知识、场景感知上下文描述和扩散模型生成的精细高质量参考图像相结合，设计了一个基于查询的提示编码器和三个变换器块的LMDIR框架。

该方法在多个评估基准上优于现有的竞争对手，支持自动和用户引导的恢复，实验结果表明其有效性。

在最近的研究中，还有一些相关的研究，如《Deep Image Prior》、《Image Restoration Using Very Deep Convolutional Encoder-Decoder Networks with Symmetric Skip Connections》等。