FairRAG: Fair Human Generation via Fair Retrieval Augmentation

现有的文本生成图像模型反映或甚至放大了其训练数据中根深蒂固的社会偏见，这对人类图像生成尤其令人担忧，因为这些模型对某些人口群体存在偏见。现有的纠正这个问题的尝试受到预训练模型固有限制的阻碍，未能实质性地提高人口多样性。在这项工作中，我们介绍了一种新颖的框架——公平检索增强生成（Fair Retrieval Augmented Generation，FairRAG），它通过从外部图像数据库检索的参考图像来对预训练生成模型进行调整，以提高人类生成的公平性。FairRAG通过轻量级线性模块将参考图像投影到文本空间中，以实现条件调整。为了增强公平性，FairRAG应用简单而有效的去偏置策略，在生成过程中提供来自不同人口群体的图像。广泛的实验表明，FairRAG在人口多样性、图像文本对齐和图像保真度方面优于现有方法，在推理过程中产生的计算开销最小。

该论文试图通过引入外部图像数据库中的参考图像来改善人类图像生成模型中存在的偏见问题，尤其是针对某些人口群体的偏见。当前的解决方案存在局限性，未能显著提高民族多样性。

该论文提出了一个新的框架Fair Retrieval Augmented Generation (FairRAG)，通过将参考图像投影到文本空间来实现预训练生成模型的条件化，并应用简单而有效的去偏见策略，在生成过程中提供来自不同人口群体的图像，从而提高公平性。

论文通过广泛的实验表明，FairRAG在民族多样性、图像文本对齐和图像保真度方面优于现有方法，在推理过程中的计算开销最小。该论文使用了多个数据集，并提供了开源代码。

最近的相关研究包括：《Learning to Generate Images of Outdoor Scenes from Attributes and Semantic Layouts》、《Semantically Consistent Regularization for Zero-Shot Deep Learning》、《Gated Semantic-Conditioned Autoencoder for Image Generation》等。