MoE-DiffIR: Task-customized Diffusion Priors for Universal Compressed Image Restoration

本文介绍了MoE-DiffIR，一种创新的通用压缩图像恢复（CIR）方法，具有任务定制的扩散先验。这旨在解决现有CIR方法中的两个关键挑战：（i）缺乏适应性和通用性，适用于不同的图像编解码器，例如JPEG和WebP；（ii）在低比特率下，纹理生成能力较差。具体而言，我们的MoE-DiffIR开发了强大的专家混合（MoE）提示模块，其中一些基本提示协作从稳定扩散（SD）中挖掘每个压缩任务的任务定制扩散先验。此外，提出了退化感知路由机制，以实现基本提示的灵活分配。为了激活和重复使用SD的跨模态生成先验，我们为MoE-DiffIR设计了视觉到文本适配器，旨在将低质量图像的嵌入从视觉域适应到文本域，作为SD的文本指导，从而实现更一致和合理的纹理生成。我们还构建了一个通用CIR的综合基准数据集，涵盖了7种流行的传统和学习编解码器的21种退化类型。广泛的通用CIR实验表明，我们提出的MoE-DiffIR具有出色的鲁棒性和纹理恢复能力。该项目可以在https://renyulin-f.github.io/MoE-DiffIR.github.io/找到。

MoE-DiffIR试图解决通用图像压缩恢复中的适应性和纹理生成能力问题。

MoE-DiffIR采用混合专家模块和降级感知路由机制，以挖掘每个压缩任务的定制扩散先验，并设计了视觉到文本适配器来激活和重用SD的跨模态生成先验。

论文构建了一个全面的基准数据集，涵盖了7种流行的传统和学习编解码器的21种降级类型。实验结果表明，MoE-DiffIR具有出色的鲁棒性和纹理恢复能力。

在最近的相关研究中，有一些与MoE-DiffIR相关的工作，例如：Deep Image Prior、MIRNet、DnCNN等。