FADAS: Towards Federated Adaptive Asynchronous Optimization

联邦学习（FL）已成为广泛采用的隐私保护机器学习训练范式。虽然基于随机梯度下降（SGD）的FL算法在过去已经取得了相当大的成功，但越来越多的人倾向于采用自适应联邦优化方法，特别是用于训练大规模模型。然而，传统的同步聚合设计在存在滞后客户端的情况下，给这些自适应联邦优化方法的实际部署带来了重大挑战。为填补这一研究空白，本文介绍了一种名为FADAS的联邦自适应异步优化方法，它将异步更新纳入自适应联邦优化中，并具有可证明的保证。为了进一步提高我们提出的方法在存在显著异步延迟的情况下的效率和韧性，我们还使用了一种延迟自适应学习调整策略来扩展FADAS。我们严格证明了所提出算法的收敛速度，实证结果表明FADAS在其他异步FL基线上具有更优异的性能。

本论文旨在解决联邦学习中异步聚合设计对于自适应联邦优化方法的挑战，特别是在存在滞后客户端的情况下。

该论文提出了一种名为FADAS的联邦自适应异步优化方法，它将异步更新与自适应联邦优化相结合，并具有可证明的保证。

FADAS方法在异步FL基线中表现出优越的性能，论文还提出了一种延迟自适应学习调整策略以进一步提高方法的效率和鲁棒性。

最近的相关研究包括异步联邦学习方法和自适应联邦学习方法，例如FedAvg、FedProx和FedAdapt等。