Leveraging Diffusion Perturbations for Measuring Fairness in Computer Vision

计算机视觉模型被发现存在有害偏见，可能导致历史上被边缘化的群体，如有色人种，受到不公平的待遇。然而，仍然缺乏基于人口统计特征平衡的数据集，可用于评估这些模型的下游公平性。在本研究中，我们展示了扩散模型可以用于创建这样的数据集。我们首先使用扩散模型生成大量描绘各种职业的图像。随后，使用修补技术对每个图像进行编辑，生成多个变体，其中每个变体指的是不同的感知种族。使用这个数据集，我们在多类职业分类任务上对几个视觉语言模型进行了基准测试。我们发现，用非高加索标签生成的图像的职业误分类率显著高于用高加索标签生成的图像，并且有几个误分类暗示存在种族偏见。我们通过计算在不同感知身份群体中预测真实职业标签的概率的标准差来衡量模型的下游公平性。使用这个公平性指标，我们发现评估的视觉语言模型之间存在显著差异。我们希望我们的工作展示了扩散方法在公平性评估方面的潜在价值。

论文试图通过使用扩散模型生成数据集，解决计算机视觉模型中存在的种族偏见问题，以及缺乏平衡的人口统计数据集的问题。

利用扩散模型生成具有不同种族特征的图像数据集，用于评估视觉-语言模型的公平性，并使用标准差来度量模型在不同种族特征下预测正确职业标签的概率的差异。

论文使用了扩散模型生成了一个新的数据集，其中每个图像都有多个不同种族特征的变体。作者使用这个数据集来评估几个视觉-语言模型在职业分类任务上的表现，并发现非高加索标签的图像具有比高加索标签的图像更高的职业误分类率，并且一些误分类表明存在种族偏见。作者还提出了一种新的公平性度量标准，即预测正确职业标签的概率的标准差，并使用这个标准来比较不同模型的公平性。论文的实验结果表明，不同的视觉-语言模型在公平性方面存在显著差异。

最近的相关研究包括使用生成对抗网络来生成平衡的数据集，以及使用其他公平性度量标准来评估机器学习模型的公平性。例如，一篇论文标题为“基于对抗生成网络的公平性数据集生成”的研究使用生成对抗网络生成具有平衡种族和性别特征的图像数据集。