FedCAda: Adaptive Client-Side Optimization for Accelerated and Stable Federated Learning

本文介绍了一种创新的联邦客户端自适应算法FedCAda，旨在解决在联邦学习中客户端加速和稳定性之间的平衡问题。FedCAda利用Adam算法在客户端上调整第一时刻估计$m$和第二时刻估计$v$的校正过程，并在服务器端聚合自适应算法参数，以加快收敛速度和通信效率，同时确保稳定性和性能。此外，我们还研究了几种包含不同调整函数的算法。这种比较分析表明，由于在联邦学习的初始阶段客户端模型中包含的其他客户端的全局信息有限，因此需要对自适应算法的参数施加更大的约束。随着联邦学习的进展和客户端收集更多的全局信息，FedCAda逐渐减少了对自适应参数的影响。通过在计算机视觉（CV）和自然语言处理（NLP）数据集上进行广泛的实验，我们证明了FedCAda在适应性、收敛性、稳定性和整体性能方面优于现有的方法。本文为联邦学习的自适应算法做出了贡献，鼓励进一步探索。

本文旨在解决联邦学习中客户端加速和稳定性之间的平衡问题。

本文提出了FedCAda算法，利用Adam算法在客户端调整第一和第二动量估计的校正过程，并在服务器端聚合自适应算法参数，以加速收敛速度和通信效率，同时确保稳定性和性能。

本文通过在计算机视觉和自然语言处理数据集上进行广泛实验，证明了FedCAda在适应性、收敛、稳定性和整体性能方面优于现有方法。本文的工作为联邦学习中的自适应算法做出了贡献。

最近的相关研究包括：《Federated Learning with Adaptive Gradient Clipping》、《Federated Learning with Gradient Descent for Wireless Communications》等。