Measuring and Addressing Indexical Bias in Information Retrieval

信息检索（IR）系统旨在提供相关内容，但传统系统可能无法优化公正、中立或思想平衡的排名。因此，IR经常会引入指示性偏见，或文档位置顺序的偏见。尽管指示性偏见可以明显影响人们的观点、投票模式和其他行为，但由于该领域缺乏可靠的指标和自动测量指示性偏见的程序，这些问题仍然未被充分研究。为此，我们引入了PAIR框架，支持对排名文档或整个IR系统进行自动偏见审计。在介绍DUO（第一个通用自动偏见度量）之后，我们对32k个合成和4.7k个自然文档的新语料库上的8个IR系统进行了广泛评估，涵盖了1.4k个有争议的议题的4k个查询。一项人类行为研究验证了我们的方法，表明我们的偏见度量可以帮助预测指示性偏见何时以及如何改变读者的观点。

如何自动检测信息检索系统中的偏见和不公平性？

提出了一个自动偏见审核框架（PAIR），其中包括第一个通用自动偏见度量标准DUO，可以在排名文档或整个信息检索系统上进行偏见审核。

论文在一个新的语料库上对8个信息检索系统进行了广泛评估，并进行了人类行为研究来验证他们的方法。DUO度量标准可以帮助预测偏见如何影响读者的观点。

最近的相关研究包括：'Fairness in Recommendation Ranking through Pairwise Comparisons'、'Auditing Search Engines for Differential Satisfaction Across Demographics'、'Measuring and Mitigating Unintended Bias in Text Classification'等。