FairJob: A Real-World Dataset for Fairness in Online Systems

我们介绍了一个针对广告中工作推荐的公平数据集，旨在促进算法公平性在实际场景中的研究。该数据集的收集和准备遵守隐私标准和商业机密。另一个挑战是缺乏访问受保护用户属性（例如性别）的权限，因此我们提出了一种解决方案来获得代理估计值。尽管经过匿名处理并包含敏感属性的代理，我们的数据集仍保留了预测能力并保持了现实和具有挑战性的基准。该数据集填补了广告等高影响领域中公平性资源的重大空白 - 实际影响是是否可以访问宝贵的就业机会，其中平衡公平性和效用是常见的工业挑战。我们还探讨了广告过程中可能出现不公平的各个阶段，并介绍了一种方法来计算基于偏差数据集的在线系统中工作推荐的公平效用度量。对发布的数据集进行的偏差缓解技术的实验评估显示了公平性的潜在改进以及与效用相关的权衡。

解决问题：本论文试图解决在广告中的职位推荐中的算法公平性问题，尤其是在缺乏敏感属性数据的情况下。

关键思路：本论文提出了一个新的数据集，用于研究算法公平性在实际场景中的应用。同时，为了解决缺乏敏感属性数据的问题，论文提出了一个代理估计方法。此外，论文还提出了一种计算公平效用指标的方法。

其他亮点：本论文的数据集不仅符合隐私标准和商业保密要求，同时还保留了预测能力和现实挑战性。论文还探讨了广告过程中不公平性可能发生的各个阶段，并通过实验证明了偏差缓解技术在提高公平性方面的潜力和相关的权衡。此外，论文还提供了开源代码和可重复的实验设计。

相关研究：最近的相关研究包括“Improving Fairness in Machine Learning Systems: What Do Industry Practitioners Need?”和“Fairness in Recommendation Ranking through Pairwise Comparisons”。