OpenBias: Open-set Bias Detection in Text-to-Image Generative Models

文本到图像生成模型越来越受欢迎，普通公众也可以轻易获得。由于这些模型正在大规模部署，因此有必要深入研究它们的安全性和公平性，以避免传播和持续任何种类的偏见。然而，现有的研究集中于检测预先定义的封闭偏见集，限制了研究范围只局限于众所周知的概念。在本文中，我们解决了文本到图像生成模型中开放式偏见检测的挑战，提出了一种名为OpenBias的新管道，它能够不受先前编译的集合的影响，识别和量化偏见的严重程度。OpenBias有三个阶段。在第一阶段，我们利用大型语言模型（LLM）根据一组标题提出偏见。其次，目标生成模型使用相同的标题生成图像。最后，一个视觉问答模型识别先前提出的偏见的存在和程度。我们研究了Stable Diffusion 1.5、2和XL的行为，强调了以前从未研究过的新偏见。通过定量实验，我们证明OpenBias与当前的封闭集偏见检测方法和人类判断一致。

本文旨在解决文本到图像生成模型中的开放式偏见检测问题，提出了一种新的管道OpenBias，可以在不访问任何预编译集的情况下识别和量化偏见的严重性。

OpenBias的三个阶段：利用大型语言模型提出偏见，目标生成模型使用相同的标题生成图像，视觉问答模型识别先前提出的偏见的存在和程度。

本文提出了OpenBias管道，可以在不访问任何预编译集的情况下识别和量化偏见的严重性。实验结果表明，OpenBias与当前的封闭集偏见检测方法和人类判断一致。

最近的相关研究包括：《Detecting and Correcting for Label Bias in Machine Learning》、《Learning Fair Representations》、《Counterfactual Fairness》等。