ViG-Bias: Visually Grounded Bias Discovery and Mitigation

机器学习模型在关键决策过程中的广泛应用突显了发现和缓解偏见的必要性。确定偏见系统背后的原因并不直接，因为很多时候它们与不易发现的虚假相关性有关。标准方法依靠偏见审计，通过分析预定义的数据样本子组的模型表现来进行，通常由共同属性（如人的性别或种族）或定义语义一致的图像组的其他特定属性来表征。然而，有时不可能事先知道定义视觉识别系统失效模式的具体属性。最近的方法提出了利用大型视觉语言模型发现这些组，这些模型可以提取跨模态嵌入并生成文本描述，以表征某个模型表现不佳的子组。在本文中，我们认为，将视觉解释（例如通过GradCAM或其他方法生成的热图）纳入偏见发现和缓解框架可以提高其性能。为此，我们介绍了一种简单而有效的技术——基于视觉的偏见发现和缓解（ViG-Bias），可以集成到各种现有框架中，以提高发现和缓解性能。我们的全面评估显示，将视觉解释纳入现有技术（如DOMINO、FACTS和Bias-to-Text）可以提高其性能，适用于多个具有挑战性的数据集，包括CelebA、Waterbirds和NICO++。

解决偏见发现和缓解的问题。

通过整合视觉解释（如GradCAM）来提高偏见发现和缓解技术的性能。

论文提出了一种名为ViG-Bias的技术，可以与现有的偏见发现和缓解框架相结合，以提高性能。实验结果表明，ViG-Bias在多个数据集上都表现出色。

相关研究包括DOMINO、FACTS和Bias-to-Text等技术。