Fairness-Aware Meta-Learning via Nash Bargaining

为了解决机器学习中的群体公平性问题，自然而然地需要在一个包含敏感属性的验证集上基于具体的公平目标来调整模型参数。这样的调整过程可以被视为元学习框架中的一部分。然而，通过元学习天真地整合公平目标可能会导致子组的超梯度冲突，从而导致不稳定的收敛并损害模型的性能和公平性。为了解决这个问题，我们将解决超梯度冲突的过程框架化为一个多人合作协商游戏。我们引入了一个两阶段的元学习框架，第一阶段涉及使用纳什谈判解(NBS)来解决超梯度冲突并将模型引向帕累托前沿，第二阶段针对特定的公平目标进行优化。我们的方法得到了理论结果的支持，特别是梯度聚合的NBS证明不需要线性独立性假设，帕累托改进的证明以及验证损失单调改进的证明。我们还展示了在六个关键的公平数据集和两个图像分类任务中，对各种公平目标的实证影响。

解决问题的问题是在机器学习中如何实现组级公平性，以及如何通过元学习框架来进行调整模型参数以实现公平性目标。

通过引入双阶段元学习框架来解决超梯度冲突的问题，第一阶段使用Nash谈判解决冲突并将模型导向帕累托前沿，第二阶段优化特定的公平目标。

论文提供了理论支持，包括梯度聚合自由的NBS的证明，帕累托改进的证明以及验证损失单调改进的证明。在6个关键的公平数据集和两个图像分类任务中展示了经验效果。

最近的相关研究包括“基于公平性的元学习”和“公平元学习的梯度调整”等。