FRRffusion: Unveiling Authenticity with Diffusion-Based Face Retouching Reversal

在数字经济时代，揭示经过修饰的面孔真实外貌以防止恶意用户进行欺骗性广告和经济欺诈已成为越来越关注的问题。本文首次尝试研究面部修饰反转（FRR）问题。我们首先收集了一个FRR数据集，名为deepFRR，其中包含50,000张StyleGAN生成的高分辨率（1024*1024）面部图像及其相应的通过商业在线API修饰的图像。据我们所知，deepFRR是首个专门用于训练深度FRR模型的FRR数据集。然后，我们提出了一种新颖的基于扩散的FRR方法（FRRffusion）用于FRR任务。我们的FRRffusion由一个粗到细的两阶段网络组成：第一阶段构建了基于扩散的面部形态建筑修复器（FMAR）以生成低分辨率面部的基本轮廓，而第二阶段则设计了基于Transformer的超逼真面部细节生成器（HFDG）以创建高分辨率面部细节。在deepFRR上进行测试，我们的FRRffusion在四种广泛的定量指标上远远超过了GP-UNIT和稳定扩散方法。尤其是，在85个受试者的定性评估中，我们的FRRffusion去修饰的图像在视觉上比修饰的面部图像和由GP-UNIT和稳定扩散方法恢复的图像更接近原始面部图像。这些结果充分验证了我们的工作的有效性，弥合了FRR和通用图像恢复任务之间最近存在的差距。数据集和代码可在https://github.com/GZHU-DVL/FRRffusion上获得。

本文试图解决面部修饰反转（FRR）问题，即如何还原被商业在线API修饰过的面部图像以防止欺诈广告和经济欺诈。

本文提出了一种新的基于扩散的FRR方法（FRRffusion），由两个阶段构成：首先构建扩散基础形态建筑师（FMAR）生成低分辨率面部图像的基本轮廓，然后设计变压器超真实面部细节生成器（HFDG）来创建高分辨率面部细节。

本文提出的FRRffusion方法在四个广泛的定量指标上远远超过了GP-UNIT和稳定扩散方法，而且在85个受试者的定性评估中，FRRffusion生成的去修饰图像在视觉上比修饰过的面部图像和由GP-UNIT和稳定扩散方法恢复的图像更接近原始面部图像。作者还提供了一个FRR数据集（deepFRR）和代码。

最近在这个领域中，还有一些相关的研究，如："Towards Realistic Face Image De-Occlusion via Coarse-to-Fine Recovery"，"Facial De-raining and Beyond: Single-Image Deraining with Implicit Prior"等。