论文:This Face Does Not Exist ... But It Might Be Yours! Identity Leakage in Generative Models 时间:2020/12 发表情况:WACV 2021 论文讲解(youtube视频): https://www.youtube.com/watch?v=cm7KF-Cfq0U

生成性对抗网络(GAN)能够生成“不存在”的物体的高分辨率逼真图像,这些合成图像很难被发现是假的。然而,这些生成模型训练的方式隐含了从所提供的训练数据中泄漏信息的可能性,特别是合成人脸的场景。

本文给出的实验表明,在建立或使用现有模型时,人脸图像中的身份信息可以从训练语料库流入到合成的样本中。这提出了与隐私相关的问题:(A)人脸流形在特征空间中的特征以及(B)如何创建生成式模型来避免无意中泄露训练数据中的身份信息。

作者使用了五种不同的人脸匹配器(Face_Recognition,FaceNet,ArcFace,SphereFace和Neurotechnology MegaMatcher)和StyleGAN2合成模型,结果表明,某些方法确实存在身份泄露问题,但不是所有方法都存在这种问题。

我们可以说这些人工合成的人脸真的不存在吗?本文提供了真实人脸和合成人脸的数据库,以实现本文讨论的结果的完全可复制性。

PS:这个工作和最近NLP中泄漏隐私的论文(Extracting Training Data from Large Language Models 从GPT2中窃取信息)有着异曲同工之妙。可见,在CV和NLP领域均存在这样的问题,且值得深入研究。

内容中包含的图片若涉及版权问题,请及时与我们联系删除