最近，来自南京大学、澳大利亚国立大学、中山大学、帝国理工学院和腾讯的研究者们全面回顾并总结了基于深度学习的人脸复原技术的研究进展，对人脸复原方法进行了分类，讨论了网络架构、损失函数和基准数据集，并对现有SOTA方法进行了系统性性能评测。
论文链接：https://arxiv.org/abs/2211.02831
仓库链接：https://github.com/TaoWangzj/Awesome-Face-Restoration
这篇文章也是人脸复原领域首篇综述，其主要贡献为：
1. 回顾了人脸复原任务中主要的退化模型、常用的评价指标，并总结了人脸图像显著性的特点；
2. 总结了目前人脸复原面临的挑战，对现有方法进行分类及概述。方法主要包括两大类:基于先验的深度学习复原方法和无先验的深度学习复原方法；
3. 梳理了方法中使用的基本网络架构、基本网络模块、损失函数和标准数据集；
4. 在公共基准数据集上对现有SOTA方法进行了系统性实验评测；
5. 分析了人脸复原任务未来发展前景。
文章的整体架构
研究背景
人脸复原(Face Restoration, FR)是底层视觉中一个特定的图像复原问题，旨在从低质量的输入人脸图像中恢复出高质量的人脸图像。通常来说，退化模型可以描述为：
其中I(lq)是低质量人脸图像， D是与噪声不相关的退化函数， n是加性高斯噪声。当退化函数D不同的时候，就对应了不同的退化模型。因此，FR任务可以视为是求解上述退化模型的逆过程，它可以表示为：
其中根据退化函数不同，人脸复原任务主要可以分为以下五大类，其分别对应着不同的退化模型：
1. 人脸去噪任务(Face Denoising, FDN)：去除人脸图像中的噪声，恢复出高质量的人脸；
2. 人脸去模糊任务(Face Deblurring, FDB)：去除人脸图像中的模糊，恢复出高质量的人脸；
3. 人脸超分辨率任务(Face Super-Resolution, FSR)：从低质量的低分辨率人脸中恢复出高分辨率高质量的人脸；
4. 人脸去伪影任务(Face Artifact Removal, FAR)：去除人脸图像压缩过程中出现的伪影，恢复出高质量的人脸；
5. 盲人脸复原任务(Blind Face Restoration, BFR)：将未知退化的低质量人脸复原成高质量人脸；
内容中包含的图片若涉及版权问题，请及时与我们联系删除
评论
沙发等你来抢