DiffAM: Diffusion-based Adversarial Makeup Transfer for Facial Privacy Protection

随着人脸识别系统的快速发展，由于未经授权的人脸识别系统的滥用，社交媒体上的人脸图像的隐私面临严峻挑战。一些研究利用对抗攻击技术通过生成对抗样本来防御恶意人脸识别系统。然而，生成的对抗样本，即受保护的人脸图像，往往受到视觉质量不佳和低可转移性的影响。在本文中，我们提出了一种新颖的人脸保护方法，称为DiffAM，它利用扩散模型的强大生成能力，从参考图像中转移对抗化妆，生成具有高质量的受保护人脸图像。具体而言，我们首先介绍了一个化妆去除模块，利用在CLIP空间中的文本提示指导下微调的扩散模型生成非化妆图像。作为化妆转移的逆过程，化妆去除可以更容易地建立化妆域和非化妆域之间的确定性关系，而不需要复杂的文本提示。然后，利用这种关系，引入基于CLIP的化妆损失以及集成攻击策略，共同引导对抗化妆域的方向，实现生成具有自然外观化妆和高黑盒可转移性的受保护人脸图像。广泛的实验表明，DiffAM在黑盒设置下相对于现有技术具有更高的视觉质量和攻击成功率，增益为12.98%。代码将在https://github.com/HansSunY/DiffAM上提供。

论文旨在解决面部识别系统滥用的问题，提出一种新的面部保护方法DiffAM。

DiffAM利用扩散模型的强大生成能力生成高质量的受保护面部图像，这些图像具有从参考图像转移的对抗性化妆。

论文使用化妆移除模块生成非化妆图像，使用CLIP空间中的文本提示来指导细化扩散模型。然后，利用CLIP基于化妆的损失和集成攻击策略来引导对抗化妆域的方向，生成具有自然化妆和高黑盒传递性的受保护面部图像。实验表明，DiffAM在黑盒设置下的攻击成功率和视觉质量均优于现有方法。

最近的相关研究包括利用对抗攻击技术生成对抗性示例来防御恶意面部识别系统。例如，Adversarial Makeup Attacks和Universal Adversarial Faces等。