Synthetic Counterfactual Faces

计算机视觉系统已经应用于各种涉及生物特征识别的应用，如人脸。这些系统可以识别社交媒体用户、寻找失踪人员并验证个人身份。虽然计算机视觉模型通常在可用基准测试中进行准确性评估，但更多的注释数据对于了解它们在输入数据的语义分布转移方面的鲁棒性和公平性至关重要，特别是在面部数据方面。在注释数据中，反事实例子具有强大的可解释性特征。由于收集自然面部数据成本过高，因此我们提出了一种基于生成式AI框架的方法来构建有针对性、反事实的高质量合成面部数据。我们的合成数据管道具有许多用途，包括人脸识别系统的敏感性评估和图像理解系统的探针。该管道已通过多个用户研究进行了验证。我们展示了我们的面部生成管道在领先的商业视觉模型上的功效。我们确定导致视觉系统失败的面部属性。

本文试图解决的问题是如何构建有针对性、高质量的合成人脸数据，以评估计算机视觉模型的稳健性和公平性。

本文提出了一个基于生成对抗网络的合成人脸数据管道，可以生成有针对性、高质量的合成人脸数据，用于评估计算机视觉模型的稳健性和公平性。与现有的研究相比，本文的方法可以有效地生成针对性的反事实示例，从而提高了解释性。

本文的合成数据管道可以用于评估人脸识别系统的敏感性和图像理解系统的探针。通过多个用户研究验证了合成数据管道的有效性。研究还发现了导致视觉系统失败的面部属性。此外，本文还提供了一个开源的实现。

在相关研究中，最近也有一些关于使用生成对抗网络生成合成人脸数据的研究，例如《High-Fidelity Synthesis with Disentangled Representation》和《Progressive Growing of GANs for Improved Quality, Stability, and Variation》。此外，还有一些研究探讨了计算机视觉模型的稳健性和公平性评估，例如《Measuring and Mitigating Unintended Bias in Text Classification》和《Assessing the Scalability of Biases in Visual Recognition》。