FedStaleWeight: Buffered Asynchronous Federated Learning with Fair Aggregation via Staleness Reweighting

联邦学习（FL）旨在利用分散的数据同时保护隐私，面临性能、可扩展性和协作方面的挑战。异步联邦学习（AFL）方法已经成为一种有前途的替代方案，可以克服同步方法受最慢代理限制的问题，但是它们增加了收敛保证、与计算异构性相关的公平性以及聚合更新中陈旧性的问题。具体而言，AFL会严重偏向能够更快产生更新的代理，而将更新速度较慢的代理落在后面，后者通常也具有不同分布的数据，这些数据无法被全局模型学习。简单地加权会引起激励问题，即真正快速更新的代理可能会虚报更新速度以增加其对模型训练的贡献。我们介绍了FedStaleWeight算法，通过使用平均陈旧度计算公平重新加权来解决聚合异步客户端更新中的公平性问题。FedStaleWeight将异步联邦学习聚合重新构建为机制设计问题，设计了一种加权策略，鼓励诚实的计算速度报告，而不是通过加权代理更新来偏向更快的更新产生代理。利用仅观察到的代理更新陈旧度，FedStaleWeight在每个代理基础上实现了更公平的聚合。我们在平滑的非凸环境中提供了理论收敛保证，并在实验中将FedStaleWeight与通常使用的异步FedBuff进行了比较，证明了它在实现更强的公平性、加速收敛到更高的全局模型精度方面的优点。最后，我们提供了一个开源测试平台，以促进缓冲AFL聚合策略的探索，促进异步联邦学习范例的进一步研究。

解决异步联邦学习中的公平性问题，避免快速更新的代理主导模型训练，从而提高全局模型准确性。

使用平均陈旧度计算公平重新加权来解决异步联邦学习中的公平性问题，避免因快速更新而导致的代理不公平。

论文提出了FedStaleWeight算法，可以在异步联邦学习中提高公平性，并提供了开源测试平台以促进更多研究。实验结果表明，FedStaleWeight比常用的异步FedBuff算法具有更强的公平性和更快的全局模型收敛速度。

与此相关的研究包括：Asynchronous Federated Learning with Decentralized Stochastic Gradient Descent (ICLR 2017)、Communication-Efficient Learning of Deep Networks from Decentralized Data (AISTATS 2017)等。