Predicting Fairness of ML Software Configuration

本文探讨了机器学习的超参数与公平性之间的关系。在确保公平性至关重要的关键社会技术应用中，越来越多地使用数据驱动的解决方案。与通过控制和数据结构显式编码决策逻辑不同，机器学习开发人员提供输入数据，执行一些预处理，选择机器学习算法，并调整超参数（HP）以推断编码决策逻辑的程序。先前的研究报告称，HP的选择可以显著影响公平性。然而，调整HP以找到精确度、准确度和公平性之间的理想权衡一直是一项昂贵和繁琐的任务。我们能否预测给定数据集的HP配置的公平性？这些预测是否对分布转移具有鲁棒性？ 我们关注群体公平概念，并研究了5种训练算法的HP空间。我们首先发现，树回归器和XGBoots在准确预测HP的公平性方面明显优于深度神经网络和支持向量机。当预测ML超参数在时间分布转移下的公平性时，树回归器以合理的准确性优于其他算法。然而，精度取决于ML训练算法、数据集和受保护属性。例如，对于以性别为受保护属性的逻辑回归和判别分析HP的2014至2018年训练数据转移，树回归器模型具有鲁棒性；但对于种族和其他训练算法则不是如此。我们的方法提供了一个可靠的框架，以有效地执行ML训练算法的微调，并了解HP与公平性之间的关系。

研究机器学习的超参数与公平性之间的关系，探索能否预测给定数据集的超参数配置的公平性，并且这些预测是否能够抵抗分布偏移。

通过研究五种训练算法的超参数空间，发现树回归器和XGBoost在准确预测超参数公平性方面优于深度神经网络和支持向量机。提出了一种有效的方法来优化机器学习训练算法的超参数，并理解超参数与公平性之间的关系。

实验结果表明，树回归器和XGBoost在准确预测超参数公平性方面表现优异，并且对于训练数据的时间分布转移具有一定的鲁棒性。但是，精度取决于机器学习训练算法、数据集和受保护属性。该方法提供了一种有效的框架，可以高效地进行机器学习训练算法的超参数微调，并理解超参数与公平性之间的关系。

最近的相关研究包括：《A survey of bias and fairness in machine learning》、《Fairness in machine learning: Lessons from political philosophy》、《The case for algorithmic fairness: Assessing interventions in machine learning》等。