Utility-Fairness Trade-Offs and How to Find Them

在考虑人口统计学公平性的分类系统构建中，有两个目标需要满足：1）最大化特定任务的效用；2）确保相对于已知人口统计属性的公平性。这些目标通常是相互竞争的，因此优化两者可能会导致效用和公平性之间的权衡。虽然现有的研究已经承认了这种权衡并研究了它们的限制，但仍有两个问题没有得到解答：1）效用和公平性之间的最佳权衡是什么？2）我们如何从数据中为所需的预测任务和感兴趣的人口统计属性量化这些权衡？本文解决了这些问题。我们引入了两个效用-公平性权衡：数据空间和标签空间权衡。这些权衡揭示了效用-公平性平面内的三个区域，勾勒出了完全和部分可能以及不可能的情况。我们提出了一种名为U-FaTE的方法，用于从数据样本中数值化量化给定预测任务和组公平性定义的权衡。基于这些权衡，我们引入了一种新的表示评估方案。对超过1000个预训练模型的公平表示学习方法和表示进行了广泛的评估，结果显示大多数当前方法在多个数据集和预测任务中远离估计和可实现的公平性-效用权衡。

本文旨在解决在构建考虑人口统计学公平性的分类系统时，如何在最大化效用和确保与已知人口统计属性相关的公平性之间进行权衡的问题。同时，本文也试图回答两个问题：1）效用和公平之间的最佳权衡是什么？2）如何从数据中数值化地量化这些权衡？

本文提出了两种效用-公平权衡：数据空间和标签空间权衡。这些权衡揭示了效用-公平平面上的三个区域，分别界定了完全和部分可能以及不可能的情况。作者提出了U-FaTE方法，可以从数据样本中数值化地量化给定预测任务和群体公平定义的权衡。基于这些权衡，作者提出了一种新的表示评估方案。

本文对超过1000个预训练模型的公平表示学习方法和表示进行了广泛的评估，发现大多数现有方法都远未达到可实现的公平-效用权衡。作者还提出了一种新的表示评估方案，并使用多个数据集和预测任务进行了实验验证。

最近的相关研究包括：1）Calders和Verwer的《三个公平性：一个实验比较》；2）Hardt等人的《公平性通过有意识的降维实现》；3）Dwork等人的《公平性在机器学习中的应用》。