Language Fairness in Multilingual Information Retrieval

这篇文章讨论了多语言信息检索（MLIR）中的一个问题，即针对一个使用与任何一种语言不同的语言表达的查询，如何对多种语言的文档进行排名。最近的研究发现，将每种语言的单个文档排名列表相结合或使用多语言预训练语言模型等方法会偏好一种语言而不是其他语言，从而导致对不同语言的文档存在系统性不公平对待。因此，本文提出了一种语言公平度量标准，通过使用Kruskal-Wallis检验进行统计等价性测试来评估不同语言的文档是否被公平地排名。与大多数先前的群体公平度量标准不同，我们不认为任何语言是一个未受保护的群体。因此，我们提出的度量标准，即PEER（等价排名概率），是专门设计用于捕捉MLIR系统的语言公平度量标准。我们在人工排名列表上展示了PEER的行为。我们还在两个公开的基准测试上评估了真实的MLIR系统，并展示了PEER分数如何与MLIR公平性的先前分析结果相一致。我们的实现与ir-measures兼容，并可在http://github.com/hltcoe/peer_measure上获得。

多语言信息检索中的语言公平性问题

提出了一种新的语言公平度量标准PEER，使用Kruskal-Wallis检验来评估不同语言的文档是否被公平排序

实验结果表明，PEER可以很好地评估多语言信息检索系统的语言公平性，该方法与现有的分析结果相一致。并且提供了开源代码

先前的工作主要集中在对不同语言进行保护性处理，而本文提出的PEER度量标准是第一个专门针对多语言信息检索系统的公平性度量标准