FairRAG: Fair Human Generation via Fair Retrieval Augmentation

现有的文本到图像生成模型反映或甚至放大了其训练数据中根深蒂固的社会偏见。这对于人类图像生成尤为令人担忧，因为模型存在对某些人口群体的偏见。现有的纠正此问题的尝试受到预训练模型固有限制的阻碍，未能实质性地提高人口多样性。在本研究中，我们介绍了一种新的框架——公平检索增强生成（Fair Retrieval Augmented Generation，FairRAG），该框架通过从外部图像数据库检索的参考图像来对预训练生成模型进行条件设置，以提高人类生成的公平性。FairRAG通过一个轻量级线性模块将参考图像投影到文本空间中，以实现条件设置。为了增强公平性，FairRAG应用了简单而有效的去偏见策略，在生成过程中提供来自不同人口群体的图像。广泛的实验表明，FairRAG在人口多样性、图像文本对齐和图像保真度方面优于现有方法，在推理过程中的计算开销也很小。

解决问题：论文旨在解决现有文本生成模型在生成人类图像时存在的偏见问题，提出一种新的框架来提高公平性。

关键思路：论文提出了一种名为Fair Retrieval Augmented Generation (FairRAG)的框架，通过从外部图像数据库中检索参考图像来改善生成模型的公平性。FairRAG使用一个轻量级线性模块将参考图像投影到文本空间中，以实现条件生成。为了增强公平性，FairRAG应用简单而有效的去偏见策略，在生成过程中提供来自不同人口群体的图像。

其他亮点：论文通过广泛的实验表明，FairRAG在人口多样性、图像文本对齐和图像保真度方面优于现有方法，在推理过程中的计算开销也很小。论文使用了多个数据集进行实验，并在GitHub上公开了代码。值得进一步研究的工作包括如何在更广泛的数据集上评估FairRAG的性能，以及如何将其扩展到其他生成模型和任务中。

相关研究：最近的相关研究包括使用对抗训练来减少文本生成模型的偏见，以及使用多任务学习来提高图像生成模型的多样性。其中一些相关的论文包括“Reducing Bias in Natural Language Generation with Counterfactual Evaluation and Suppression”和“Multi-Task Learning for Conditional Image Generation”。