TPAMI 2022 | 基于双记忆字典的人脸图像盲复原方法

人脸图像盲复原任务是指给定一张未知退化类型的低质量人脸图像，旨在复原出真实的高质量结果，具有广泛的应用场景。现有的人脸图像盲复原方法可以归结为两类，第一种是通用的人脸复原方式，即利用人脸结构的先验知识来增加模型对未知退化的鲁棒性。虽然该类方法能够恢复出不错的效果，但是当处理退化严重的图像时，该类方法容易丢失或者改变人脸身份相关的特定细节（例如瞳孔颜色）；第二种是特定的人脸图像复原，即利用退化图像中同一身份的一张或多张高质量图像作为引导，在复原过程中提供身份相关的细节信息。虽然该类方法能够合理地保留身份特征，但是由于依赖同一身份的引导图，极大地限制了应用场景。图1展示了两种类型复原效果。可以发现，输入图存在严重的退化时，已经很难分辨出身份相关的一些结构纹理，使用通用复原方法虽然能够生成清晰的纹理细节，但明显改变了瞳孔颜色。相反，特定复原方法能够生成与身份一致的结构特征。

为了结合两种方法的优势，我们提出一种基于双记忆字典（通用字典和特定字典）的人脸图像盲复原方法，在一个框架中既能使用通用特征来增加人脸先验，又能引入特定特征维持身份信息，并且当同一身份缺少引导图时，只使用通用特征也能进行复原。其中，通用字典从大量任意身份的人脸图像中学习和存储通用的人脸结构先验，而特定字典从同一身份的多张图像中学习和存储身份相关的特征。进一步地，通过字典特征读取模块根据输入图特征自适应地从双记忆字典中提取相关的高质量特征进行融合。最后，为了进一步促进特定复原方法在高分辨率图像上的发展，我们还提出一个CelebRef-HQ数据集，包含1005个不同的人，每个人有3~21张512*512的高质量图像，总计10555张图像。

内容中包含的图片若涉及版权问题，请及时与我们联系删除