WaveFace: Authentic Face Restoration with Efficient Frequency Recovery

尽管扩散模型作为盲人面部恢复的强有力解决方案正在兴起，但它们因两个问题而受到批评：1）训练和推断速度慢，2）无法保留身份和恢复细节。在这项工作中，我们提出了WaveFace来解决频域中的问题，其中通过小波变换分解的低频和高频分量被单独考虑以最大化真实性和效率。扩散模型仅应用于恢复低频分量，该分量仅呈现原始图像的一般信息，但大小只有原图像的1/16。为了保留原始身份，在每个去噪步骤中，生成是基于低质量图像的低频分量进行条件化的。同时，统一网络处理多个分解级别的高频分量，可以在单个步骤中恢复复杂的面部细节。在四个基准数据集上的评估表明：1）WaveFace在真实性方面优于最先进的方法，特别是在身份保护方面，2）与现有的扩散模型BFR方法相比，使用WaveFace可以以10倍的效率恢复真实图像。

本论文旨在解决盲目人脸修复中扩散模型存在的训练和推理速度慢以及无法保留身份和恢复细节的问题。

WaveFace提出了在频域中分别考虑低频和高频成分的解决方案，通过小波变换将图像分解为不同的频率成分，然后分别处理。低频成分由扩散模型处理，高频成分由统一的网络处理。

WaveFace在四个基准数据集上的评估表明：1）在真实性方面，尤其是身份保留方面，WaveFace优于现有的方法；2）WaveFace比现有的扩散模型BFR方法快10倍。

近期的相关研究包括：1）Blind Face Restoration via Deep Multi-scale Component Dictionaries；2）UFR-Net: A Unified Framework for Real-time Face Restoration with Enhanced Residual U-blocks。