Arc2Face: A Foundation Model of Human Faces

本文介绍了Arc2Face，一种身份条件的人脸基础模型。给定一个人的ArcFace嵌入，该模型可以生成比现有模型更具有面部相似度的多样化的逼真图像。尽管以前已经尝试将人脸识别特征解码成详细图像，但我们发现常见的高分辨率数据集（例如FFHQ）缺乏足够的身份来重建任何一个主题。为此，我们仔细地上采样了WebFace42M数据库的大部分数据，这是人脸识别（FR）的最大公共数据集。Arc2Face基于预训练的稳定扩散模型，但将其调整为仅基于ID向量进行条件生成。与最近将ID与文本嵌入相结合以进行文本到图像模型的零样本个性化的工作不同，我们强调FR特征的紧凑性，这些特征完全捕捉到人脸的本质，而不是手工制作的提示。至关重要的是，文本增强模型往往难以解耦身份和文本，通常需要对给定的面部进行一些描述才能达到令人满意的相似度。然而，Arc2Face只需要ArcFace的判别特征来引导生成，为许多重要性一致的任务提供了强大的先验知识。例如，我们使用我们的模型从合成图像中训练FR模型，并实现了优于现有合成数据集的性能。

本文旨在解决如何通过ArcFace嵌入向量生成具有身份一致性的多样化逼真人脸图像的问题，并且在生成的图像中达到比现有模型更高的人脸相似度。

本文提出了Arc2Face模型，通过对WebFace42M数据库的上采样，利用ArcFace的判别特征来指导生成具有身份一致性的人脸图像。相比于其他结合文本嵌入的图像生成模型，Arc2Face模型不需要文本的描述就能生成高度相似的人脸图像。

本文的亮点包括：1. 通过Arc2Face模型生成的人脸图像具有更高的身份一致性和逼真度；2. 通过在生成的图像上训练人脸识别模型，证明生成的图像在身份识别任务上优于现有的合成数据集；3. 通过对不同的实验设置进行评估，证明Arc2Face模型的鲁棒性和泛化性能。

最近在这个领域中，还有一些相关的研究，如：1. StyleGAN2; 2. GAN Dissection; 3. BigGAN; 4. StarGAN。