AI Gender Bias, Disparities, and Fairness: Does Training Data Matter?

本研究深入探讨了人工智能（AI）中性别问题的普遍性，特别是在自动评分系统中的问题，这些系统用于评估学生的书面回答。主要目标是调查在混合性别数据集的普遍训练样本中，AI评分结果中是否存在性别偏见、差异和公平性。利用BERT和GPT-3.5的优化版本，本研究分析了来自男性和女性参与者的1000多个人工评分的学生回答，涵盖六个评估项目。该研究采用了三种不同的偏差分析技术：评分准确度差异用于评估偏见，按性别的平均分差（MSG）用于评估差异，Equalized Odds（EO）用于评估公平性。结果表明，混合训练模型的评分准确度与男性或女性训练模型的评分准确度没有显着差异，表明没有显着的评分偏见。与BERT和GPT-3.5一致，我们发现混合训练模型生成的MSG更少，非差异性预测也比人类更少。相比之下，与人类相比，性别特定的训练模型产生了更大的MSG，表明不平衡的训练数据可能会导致算法模型扩大性别差距。EO分析表明，与性别特定的训练模型相比，混合训练模型生成了更多的公平结果。总的来说，研究结果表明，性别不平衡的数据不一定会产生评分偏见，但可能会扩大性别差距并降低评分公平性。

性别平等在AI自动评分系统中的问题。研究旨在探讨AI评分结果中的性别偏见、不平等和公平性问题。

利用BERT和GPT-3.5进行研究，分析了超过1000个男性和女性参与者的六个评估项目中的学生作答情况。采用三种不同的偏见分析技术，研究发现性别不平衡的数据不一定会产生评分偏见，但会扩大性别差距并降低评分公平性。

实验结果显示，混合训练模型的评分准确性与男性或女性训练模型相比没有显著差异，表明没有显著的评分偏见。混合训练模型生成的MSG和非不平等预测较少，相对于人类，性别特定训练模型产生了更大的MSG，表明不平衡的训练数据可能会导致算法模型扩大性别差距。EO分析表明，混合训练模型产生了比性别特定训练模型更多的公平结果。

相关研究包括：《Gender Shades: Intersectional Accuracy Disparities in Commercial Gender Classification》、《Fairness Constraints: Mechanisms for Fair Classification》等。