Data Bias According to Bipol: Men are Naturally Right and It is the Role of Women to Follow Their Lead

我们介绍了三种语言中关于偏见的新的大型标记数据集，并在实验中展示了在评估的5种语言的10个数据集中，包括英语GLUE/SuperGLUE排行榜上的基准数据集，都存在偏见。这三种新语言提供了近600万个标记样本，我们使用SotA多语言预训练模型mT5和mBERT对这些数据集进行基准测试。基于偏见的社会偏见挑战是普遍存在的，正如最近关于人工智能和大语言模型（LLM）的事件所显示的那样。受到这一挑战的启发，我们开始估计多个数据集中的偏见。我们比较了一些最近的偏见度量标准，并使用具有度量解释性的bipol。我们还证实了未经验证的假设，即有毒评论存在偏见，通过使用95％的置信水平和7％的误差边际从有毒数据集人口中随机抽样200个样本。在这200个样本中随机分配了30个金标准样本以确保注释的质量。我们的发现证实了许多数据集存在男性偏见（对女性的偏见），以及其他类型的偏见。我们公开发布我们的新数据集、词汇、模型和代码。

论文旨在研究和解决自然语言处理中的社会偏见问题，包括性别偏见等。同时，论文试图验证毒性评论中是否存在偏见。

论文使用三种语言的近600万个标记样本，以及mT5和mBERT等最先进的多语言预训练模型，对包括英语GLUE / SuperGLUE在内的10个数据集进行了测试。作者使用了一种名为bipol的度量标准来比较最近的偏见度量标准，并确认了毒性评论中存在偏见的假设。

论文公开了新的数据集，词典，模型和代码。作者发现许多数据集存在男性偏见，除了其他类型的偏见。作者还随机从毒性评论数据集中抽取了200个样本，并使用95％的置信水平和7％的误差范围来确认存在偏见。作者还比较了一些最近的偏见度量标准，并使用了具有度量解释性的bipol标准。

最近在这个领域中，还有一些相关的研究，例如“Examining Gender Bias in Languages with Grammatical Gender”，“Mitigating Unwanted Biases with Adversarial Learning”等。