Achieving Dimension-Free Communication in Federated Learning via Zeroth-Order Optimization

联邦学习（FL）为分布式数据源上的协作和保护隐私的机器学习提供了一个有前途的框架。然而，与FL相关的大量通信成本对其效率构成了重大挑战。具体而言，在每个通信轮中，通信成本与模型的维度成线性关系，这在大型模型场景下尤其困难。尽管有各种通信效率策略，但固有的维度相关通信成本仍是当前FL实现的主要瓶颈。本文介绍了一种新颖的FL无维度通信策略，利用零阶优化技术。我们提出了一种新算法FedDisco，每个通信轮在客户端和服务器之间只传输一个常数数量的标量值，从而将通信成本从$\mathscr{O}(d)$降低到$\mathscr{O}(1)$，其中$d$是模型参数的维度。在非凸函数中，我们证明了我们的算法实现了最先进的速率，表现出在标准假设和低有效秩场景下客户数和本地步数的线性加速和无维度速率。通过经典深度学习训练和大型语言模型微调的实证评估证实，与传统FL方法相比，我们的算法显著减少了通信开销。

本论文旨在解决联邦学习中高通信成本的问题，提出了一种基于零阶优化技术的无维度通信策略。

论文提出了一种名为FedDisco的算法，通过每轮仅传输一定数量的标量值来降低通信成本，将通信成本从O(d)降至O(1)，并在非凸函数中证明了算法的最优性。

本论文的算法FedDisco在经典深度学习训练和大型语言模型微调中实现了显著的通信开销降低。论文还提出了一种新的评估指标来衡量联邦学习的效率，并在实验中使用了多个数据集。

近期的相关研究包括：《Federated Learning with Only Positive Labels》、《Federated Learning with Matched Averaging》、《Communication-Efficient On-Device Machine Learning: Federated Distillation and Augmentation under Non-IID Private Data》等。