Images Speak Louder than Words: Understanding and Mitigating Bias in Vision-Language Model from a Causal Mediation Perspective

本文介绍了视觉-语言模型（VLMs）在预训练时可能会无意中学习到偏见，通过将性别信息与特定对象或情境相关联。目前的方法主要集中在修改输入数据并监测模型输出概率得分的变化，但往往难以从模型组件的角度全面理解偏见。我们提出了一种框架，将因果中介分析纳入其中，以测量和映射 VLMs 中偏见产生和传播的路径。这种方法使我们能够确定干预对模型偏见的直接影响以及通过不同模型组件介导的偏见的间接影响。我们的研究结果表明，图像特征是偏见的主要贡献者，其影响显著高于文本特征，特别是在 MSCOCO 和 PASCAL-SENTENCE 数据集中分别占偏见的 32.57% 和 12.63%。值得注意的是，图像编码器的贡献超过了文本编码器和深度融合编码器。进一步的实验证实，语言和视觉模态的贡献是相互一致且不冲突的。因此，将重点放在模糊图像编码器中的性别表现，这是对模型偏见贡献最大的部分，可以在最小化性能损失或增加计算需求的情况下，有效地减少偏见，分别在 MSCOCO 和 PASCAL-SENTENCE 数据集中分别减少 22.03% 和 9.04%。

论文试图解决图像语言模型中性别偏见的问题，通过分析模型组件之间的因果关系来度量和映射偏见的生成和传播途径。

论文提出了一种框架，结合因果中介分析来量化和映射VLMs中偏见生成和传播的途径，以识别直接干预模型偏见的效果和通过不同模型组件介导偏见的间接效果。

论文结果表明，图像特征是偏见的主要贡献者，对MSCOCO和PASCAL-SENTENCE数据集的偏见分别占32.57%和12.63%。进一步实验证实，语言和视觉模态的贡献是一致且非冲突的。此外，论文还提出了通过模糊图像编码器中的性别表示来减少偏见的方法，可以在减少偏见的同时最小化性能损失或增加计算需求。

最近的相关研究包括《Gender Bias in Multimodal Language Models》、《Measuring and Mitigating Gender Bias in Image Captioning》等。