DiffMAC: Diffusion Manifold Hallucination Correction for High Generalization Blind Face Restoration

本文提出了一种名为扩散信息扩散（DID）框架的方法，用于处理扩散流形幻觉校正（DiffMAC），以实现在多样化的退化场景和异构域中高通用性的面部修复。当前的方法在逼真和异构领域中的泛化能力较低，而DiffMAC能够有效地对抗盲目的退化模式，并合成具有属性和身份一致性的高质量面部。具体而言，第一扩散阶段使用AdaIN将修复的面部与低质量面部的空间特征嵌入进行对齐，合成去除退化的结果，但对于某些难以处理的情况会产生无法控制的伪影。基于第一阶段，第二阶段考虑使用流形信息瓶颈（MIB）进行信息压缩，并微调第一个扩散模型以提高面部保真度。实验结果表明，DiffMAC在现实世界和异构设置中的泛化能力优于现有技术，源代码和模型将公开发布。

论文旨在解决盲目面部修复（BFR）的问题，即如何在不确定的降级模式下实现高通用性的面部修复。

文中提出了一种Diffusion-Information-Diffusion（DID）框架来解决扩散流形幻觉校正（DiffMAC），它在各种降级场景和异构领域中实现了高通用性的面部修复。该方法包括两个阶段：第一阶段使用AdaIN将修复后的面部与低质量面部的空间特征嵌入进行对齐，第二阶段使用流形信息瓶颈（MIB）进行信息压缩，从而提高面部保真度。

该方法在真实世界和异构设置中展现了高度的泛化能力，优于现有的方法。论文还开源了源代码和模型。

最近的相关研究包括“Blind Face Restoration via Deep Multi-scale Component Dictionaries”和“Blind Face Restoration via Learning Deep Prior on Surface Normal and Sparse Coding”。