Communication-Efficient Federated Learning with Adaptive Compression under Dynamic Bandwidth

联邦学习可以在不将本地数据直接提供给服务器的情况下训练模型。然而，本地模型的频繁更新带来了大量的通信开销问题。最近，学者们主要通过模型压缩实现了联邦学习的通信效率。但是他们忽略了两个问题：1）每个客户端的网络状态动态变化；2）客户端之间的网络状态不同。带宽较差的客户端更新本地模型较慢，导致效率低下。为了解决这个挑战，我们提出了一种自适应压缩的通信高效联邦学习算法（称为AdapComFL）。具体而言，每个客户端执行带宽感知和带宽预测。然后，每个客户端根据其预测的带宽通过改进的草图机制自适应地压缩其本地模型。进一步地，服务器聚合接收到的不同大小的草图模型。为验证所提出方法的有效性，实验基于我们构建的网络拓扑收集的实际带宽数据以及从开放存储库中获得的基准数据集。我们展示了AdapComFL算法的性能，并将其与现有算法进行了比较。实验结果表明，与现有算法相比，我们的AdapComFL实现了更高效的通信以及具有竞争力的准确性。

解决问题：论文试图解决在联邦学习中，频繁更新本地模型所带来的通信开销大的问题，并且考虑到客户端之间网络状态的不同。

关键思路：提出了一种自适应压缩的联邦学习算法AdapComFL，通过客户端进行带宽感知和预测，并根据预测结果自适应压缩本地模型，最后服务器聚合不同大小的压缩模型。

其他亮点：实验基于真实的带宽数据和公开数据集进行，与现有算法进行比较，结果表明AdapComFL算法在通信效率和准确性方面均优于现有算法。

相关研究：最近的相关研究包括《Federated Learning with Adaptive Communication Compression》、《Communication-Efficient On-Device Machine Learning: Federated Distillation and Augmentation under Non-IID Private Data》等。