Achieving Dimension-Free Communication in Federated Learning via Zeroth-Order Optimization

本文介绍了联邦学习（FL）作为协作和隐私保护机器学习跨分布式数据源的一个有前途的框架。然而，与FL相关的大量通信成本对其效率构成了重大挑战。具体而言，在每个通信轮中，通信成本与模型的维度成线性关系，这在大型模型场景下尤为困难。尽管有各种通信效率策略，但固有的维度依赖通信成本仍然是当前FL实现的主要瓶颈。本文引入了一种新的无维度通信策略，利用零阶优化技术，提出了一种新算法FedDisco，每个通信轮只需在客户端和服务器之间传输一个常数数量的标量值，从而将通信成本从$\mathscr{O}(d)$降低到$\mathscr{O}(1)$，其中$d$是模型参数的维度。理论上，在非凸函数中，我们证明了我们的算法实现了最先进的速率，这显示出在标准假设和无维度速率的低有效秩场景下，客户端数量和本地步骤的线性加速。通过经典深度学习训练和大型语言模型微调的实证评估，证实与传统FL方法相比，通信开销大大降低。我们的代码可在https://github.com/ZidongLiu/FedDisco上获得。

如何解决联邦学习中模型维度对通信效率的影响？

使用零阶优化技术，提出一种新的无维度通信策略，即每轮通信仅传输一个常数数量的标量值，从而将通信复杂度从O(d)降低到O(1)。

论文提出的算法在非凸函数中取得了最优速率，实验结果表明与传统联邦学习方法相比，通信开销显著降低。作者公开了代码。

与本文相关的研究包括：《Communication-Efficient Learning of Deep Networks from Decentralized Data》、《Federated Learning with Non-IID Data: Better Communication Efficiency with Implicit Rank Sparsity》等。