Not All Federated Learning Algorithms Are Created Equal: A Performance Evaluation Study

联邦学习（FL）作为一种从分散数据中训练模型的实用方法已经出现。FL的普及导致了许多FL算法和机制的发展。以前的许多努力都集中在这些方法的准确性上，但很少有人了解其他方面，如计算开销、性能和训练稳定性等。为了弥补这一差距，我们利用一个名为Flame的开源联邦学习框架对几个典型的FL算法（FedAvg，FedProx，FedYogi，FedAdam，SCAFFOLD和FedDyn）进行了广泛的性能评估。我们的全面测量研究揭示了没有单一算法在不同性能指标上表现最佳。几个关键观察结果是：（1）虽然一些最先进的算法比其他算法实现了更高的准确性，但它们会产生更高的计算开销（FedDyn）或通信开销（SCAFFOLD）。 （2）最近的算法在客户端之间的准确性标准偏差较小，表明先进的算法的性能更加稳定。（3）然而，像FedDyn和SCAFFOLD这样的算法更容易在没有额外技术支持（如梯度剪辑）的情况下发生灾难性故障。我们希望我们的实证研究可以帮助社区建立评估FL算法的最佳实践。

对多个经典FL算法进行全面的性能评估，探讨算法的精度、计算和通信开销、性能和训练稳定性等方面的差异和优劣

通过对多个经典FL算法的全面性能评估，揭示不同算法在不同性能指标上的表现差异，并提出了一些结论，如没有一种算法在所有性能指标上表现最佳；一些先进算法的性能更为稳定，但也存在一些缺陷等

本研究使用了开源的FL框架Flame，对多个经典FL算法进行了全面性能评估；研究发现，不同算法在不同性能指标上表现差异很大，没有一种算法是最优的；一些先进算法的性能更为稳定，但也存在一些缺陷，需要额外的技术支持；研究结果可以帮助研究者在评估FL算法时建立最佳实践

在最近的相关研究中，也有一些关于FL算法性能评估的研究，如《Federated Learning: Strategies for Improving Communication Efficiency》、《Performance of Machine Learning Algorithms in Distributed Systems: A Comparative Study》等