Robust Model Aggregation for Heterogeneous Federated Learning: Analysis and Optimizations

传统的同步联邦学习（SFL）框架在异构系统中存在性能下降问题，因为客户端的本地数据大小和计算能力不平衡。为了解决这个问题，人们提出了异步FL（AFL）和半异步FL，通过允许异步聚合来恢复性能损失。然而，异步聚合会产生新的问题，即本地更新和全局更新之间的不一致性。受传统SFL和AFL问题的启发，我们首先提出了一个面向异构系统的基于时间驱动的SFL（T-SFL）框架。T-SFL的核心思想是，服务器在规则时间间隔内聚合来自不同客户端的模型，每个客户端迭代次数不同。为了评估T-SFL的学习性能，我们提供了全局损失函数的上界。此外，我们优化聚合权重以最小化开发的上界。然后，我们开发了一个判别模型选择（DMS）算法，从迭代次数低于预定阈值的客户端中删除本地模型。特别地，该算法确保每个客户端的聚合权重准确反映其对全局模型更新的真实贡献，从而提高系统的效率和鲁棒性。为了验证带有DMS算法的T-SFL的有效性，我们使用几个流行的数据集进行了广泛的实验，包括MNIST，Cifar-10，Fashion-MNIST和SVHN。实验结果表明，带有DMS算法的T-SFL可以将传统SFL的延迟降低50％，同时实现比最先进的AFL算法平均3％的学习精度提高。

解决异构系统中同步联邦学习（SFL）框架性能下降的问题，提出基于时间驱动的SFL（T-SFL）框架，以及解决异步聚合带来的本地更新与全局更新不一致的问题。

T-SFL框架的核心思想是在规则时间间隔内聚合来自不同客户端的模型，通过优化聚合权重来最小化上界，进而开发了一种判别模型选择（DMS）算法，从而提高了系统的效率和鲁棒性。

论文在多个流行数据集上进行了广泛的实验验证，证明了T-SFL框架与DMS算法能够将传统SFL的延迟降低50％，同时比最先进的AFL算法平均提高3％的学习准确性。

近期的相关研究包括异步联邦学习（AFL）和半异步联邦学习，这些研究主要解决同步联邦学习在异构系统中性能下降的问题。