Analyzing the Feature Extractor Networks for Face Image Synthesis

像生成对抗网络这样的进步已经引起了研究人员对人脸图像合成的关注，以生成更加逼真的图像。因此，评估生成图像的真实性的评价标准的需求变得明显。虽然在InceptionV3上使用的FID是主要的基准之一，但是对于人脸图像，InceptionV3的限制引起了关注。本研究考察了多种特征提取器的行为——InceptionV3、CLIP、DINOv2和ArcFace——考虑了各种指标——FID、KID、Precision&Recall。虽然FFHQ数据集被用作目标域，但CelebA-HQ数据集和使用StyleGAN2和Projected FastGAN生成的合成数据集被用作源域。实验包括对特征的深入分析：$L_2$归一化、特征提取期间的模型注意力以及特征空间中的域分布。我们旨在为评估人脸图像合成方法的特征提取器的行为提供有价值的见解。代码可在https://github.com/ThEnded32/AnalyzingFeatureExtractors上公开获取。

本论文旨在研究不同特征提取器在评估人脸图像合成中的表现，以及对于FID评估标准的局限性进行探讨。

论文比较了四种不同的特征提取器（InceptionV3、CLIP、DINOv2和ArcFace）在不同数据集（FFHQ、CelebA-HQ、StyleGAN2和Projected FastGAN）上使用FID、KID和Precision&Recall等多个评估指标的表现，并深入分析了特征提取器的特征表现，包括$L_2$归一化、特征提取过程中的模型注意力以及特征空间中的域分布。

论文的实验设计详尽，使用了多个数据集，代码公开可用。对于FID评估标准的局限性进行了探讨，并提出了多种评估指标进行比较。此外，论文还深入分析了特征提取器的特征表现，为后续研究提供了有价值的见解。

最近的相关研究包括：1.《A Style-Based Generator Architecture for Generative Adversarial Networks》；2.《Analyzing and Improving the Image Quality of StyleGAN》；3.《Progressive Growing of GANs for Improved Quality, Stability, and Variation》等。