Investigating Markers and Drivers of Gender Bias in Machine Translations

大型语言模型（LLM）中的隐含性别偏见是一个被广泛记录的问题，自动翻译中引入的性别偏见可能会延续现实世界中的偏见。然而，一些LLM使用启发式或后处理来掩盖这种偏见，使得调查变得困难。在这里，我们通过回译来检查LLMs中的偏见，使用DeepL翻译API来调查在重复翻译一组56个软件工程任务时表现出的偏见。每个陈述都以“她”开头，首先被翻译成一个“无性别”的中间语言，然后再翻译回英语；然后我们检查回译文本中的代词选择。我们通过以下方式扩展了先前的研究：（1）比较了五种中间语言的结果，即芬兰语、印度尼西亚语、爱沙尼亚语、土耳其语和匈牙利语；（2）提出了一种新的度量方法，用于评估重复翻译中暗示的性别变化，避免了早期工作中个别代词的过度解释；（3）调查了驱动偏见的句子特征；（4）并比较了三个时间间隔的数据集的结果，以确定方法的可重复性。我们发现，一些语言显示出类似的代词使用模式，分为三个松散的组，但模式在组之间有所变化；这强调了使用多种语言的必要性。我们还确定了出现在句子中的主要动词是翻译中暗示性别的可能重要驱动因素。此外，我们发现结果具有很好的可重复性，并且确定我们的变异度量方法在研究过程中DeepL翻译API的明显变化下仍然稳健。这些结果表明，回译方法可以进一步提供关于语言模型中偏见的见解。

研究Large Language Models (LLMs)中存在的性别偏见问题，通过反向翻译方法探索偏见的存在和变化。

使用DeepL翻译API将56个软件工程任务从英语翻译为五种中间语言，再翻译回英语，观察反复翻译中代词的选择变化，提出新的度量方法，探究偏见的驱动因素。

实验结果显示，不同语言之间的代词使用存在差异，但同一语言内部的代词使用趋势相似，主语动词是影响翻译中性别偏见的重要因素。实验具有较高的可重复性，提出的度量方法比较稳健。

最近的相关研究包括：《Assessing Gender Bias in Machine Translation》、《Gender Bias in Neural Natural Language Processing》等。