Redefining Contributions: Shapley-Driven Federated Learning

2024年06月01日
  • 简介
    这篇论文介绍了联邦学习在机器学习中的重要性,它使得多个参与者可以在不共享原始数据的情况下协同训练一个全局模型。虽然联邦学习在医疗保健和金融等领域有着广泛的应用,但是当参与者的贡献不平等和/或不诚实时,确保全局模型收敛是具有挑战性的。为了克服这一挑战,需要有原则性的机制来评估联邦学习环境中个体参与者的贡献。现有的贡献评估解决方案依赖于一般的准确性评估,往往无法捕捉微妙的动态和类别特定的影响。本文提出了一种新的贡献评估方法,称为ShapFed,用于对联邦学习中个体参与者的贡献进行精细的评估。我们的方法使用合作博弈论中的Shapley值,提供了对类别特定影响的细粒度理解。基于ShapFed,我们引入了一种加权聚合方法,称为ShapFed-WA,在类别不平衡的情况下特别优于传统的联邦平均方法。根据参与者的贡献个性化更新模型可以进一步增强协作公平性,提供与参与者贡献相称的差异化模型。在CIFAR-10、胸部X射线和Fed-ISIC2019数据集上的实验表明,我们的方法在提高联邦学习系统的效用、效率和公平性方面是有效的。代码可以在https://github.com/tnurbek/shapfed找到。
  • 图表
  • 解决问题
    本论文旨在解决联邦学习中参与者不平等或不诚实时全局模型收敛困难的问题,提出一种新的贡献评估方法。
  • 关键思路
    本文提出了一种名为ShapFed的新方法,使用合作博弈论中的Shapley值对参与者的贡献进行细粒度评估,以获得对类别特定影响的深入理解。基于ShapFed,提出了一种加权聚合方法ShapFed-WA,特别适用于类别不平衡的场景。此外,根据参与者的贡献个性化更新模型,提高协作公平性。
  • 其它亮点
    本文实验使用CIFAR-10、Chest X-Ray和Fed-ISIC2019数据集,证明了ShapFed-WA方法在提高联邦学习系统效用、效率和公平性方面的有效性。同时,作者还开源了代码。
  • 相关研究
    相关研究包括:1. FedAvg:一种基于联邦平均的联邦学习方法;2. FedProx:一种用于解决联邦学习中不平衡参与者的方法;3. FedNova:一种具有自适应学习率的联邦学习方法。
PDF
原文
点赞 收藏 评论 分享到Link

沙发等你来抢

去评论