Beyond the Surface: A Global-Scale Analysis of Visual Stereotypes in Text-to-Image Generation

近期的研究突出了在文本到图像（T2I）模型生成中，不同身份群体的人物被刻板印象所影响的问题。然而，这些现有方法存在几个关键限制，包括评估中明显缺乏对全球身份群体的覆盖，以及相关刻板印象的范围。此外，它们通常缺乏一个关键的区别，即本质上是视觉刻板印象，如“过轻”或“墨西哥帽”，和文化相关的刻板印象，如“有吸引力”或“恐怖分子”。在这项工作中，我们采用多面向的方法来解决这些限制，利用现有的文本资源来基于T2I模型生成的图像来评估地缘文化刻板印象。我们使用现有的刻板印象基准来识别和评估全球范围内135个基于国籍的身份群体的视觉刻板印象。我们证明，在这些身份的图像中，刻板印象属性出现的可能性是其他属性的三倍。我们进一步调查了不同国籍的图像呈现出的刻板印象的不同程度的冒犯性。最后，通过详细的案例研究，我们揭示了所有身份群体的“默认”表现具有刻板印象的外观。此外，对于全球南方，即使明确提示了不同的属性，图像在视觉上也非常相似。内容警告：有些例子可能包含冒犯性的刻板印象。

论文试图通过多方面的方法解决T2I模型生成中存在的身份群体刻板印象问题，包括全球身份群体的覆盖不足和相关刻板印象范围的限制等。

论文采用现有的刻板印象基准来识别和评估全球范围内的视觉刻板印象，跨越了135个基于国籍的身份群体，并通过现有的文本资源来基于图像对地理文化刻板印象进行评估。

论文揭示了身份群体的刻板印象在生成图像中的出现频率是其他属性的三倍，并探究了不同国籍的图像刻板印象的不同程度。此外，通过详细的案例研究，论文揭示了所有身份群体的默认表现都具有刻板印象的外观。论文使用了现有的刻板印象基准和文本资源，并开源了相关代码。

相关研究包括：《GPT-2: Language Models are Unsupervised Multitask Learners》、《ImageNet: A Large-Scale Hierarchical Image Database》等。