Survey of Bias In Text-to-Image Generation: Definition, Evaluation, and Mitigation

最近，具有文本到图像生成能力的大型强大模型（例如OpenAI的DALLE-3和Google的Gemini）的发展使得用户可以从文本提示中生成高质量的图像。然而，越来越明显的是，即使是简单的提示也可能导致T2I模型在生成的图像中表现出明显的社会偏见。这种偏见可能会导致社会上的分配和代表性伤害，进一步边缘化少数群体。鉴于这个问题，最近有大量的研究致力于调查T2I系统中不同维度的偏见。然而，缺乏这些研究的广泛审查，这阻碍了对当前进展和研究空白的系统性理解。我们提出了第一份关于T2I生成模型偏见的广泛调查。在这项调查中，我们回顾了有关偏见维度的之前的研究：性别、肤色和地理文化。具体而言，我们讨论了这些研究如何定义、评估和缓解不同方面的偏见。我们发现：（1）虽然性别和肤色偏见得到了广泛研究，但地理文化偏见仍未得到充分探索；（2）大多数有关性别和肤色偏见的作品调查了职业关联，而其他方面则较少研究；（3）几乎所有性别偏见的作品在研究中忽略了非二元身份；（4）评估数据集和指标分散，没有统一的框架来衡量偏见；（5）当前的缓解方法未能全面解决偏见。基于当前的局限性，我们指出了未来的研究方向，以促进以人为中心的定义、评估和缓解偏见。我们希望强调研究T2I系统中的偏见的重要性，并鼓励未来努力全面理解和解决偏见，为每个人构建公平和可信赖的T2I技术。

本论文旨在解决文本到图像生成模型中存在的社会偏见问题，特别是性别、肤色和地理文化等方面的偏见。通过综述现有研究，发现当前对于地理文化偏见的研究相对较少，而性别和肤色偏见则更为广泛研究。此外，当前的评估数据集和指标分散，缺乏统一的评估框架，而现有的偏见缓解方法也无法全面解决偏见问题。

本论文提出了一些未来的研究方向，以人为本的定义、评估和缓解偏见，以期为所有人构建公平和可信赖的文本到图像生成技术。这些方向包括：更全面地研究地理文化偏见；研究性别和肤色偏见中的其他方面；考虑非二元身份；建立统一的评估框架；以及探索更全面的偏见缓解方法。

本论文综述了文本到图像生成模型中存在的社会偏见问题，特别是性别、肤色和地理文化等方面的偏见，并提出了未来的研究方向。本文的亮点包括：全面综述了该领域的研究现状；提出了未来研究的方向和重点；指出了当前研究的局限性和不足之处。

在这个领域中，最近的相关研究包括：《GPT-3的性别偏见问题》、《基于深度学习的图像生成中的肤色偏见问题》、《文本到图像生成中的地域文化偏见问题》等。