Dynamic Client Clustering, Bandwidth Allocation, and Workload Optimization for Semi-synchronous Federated Learning

Federated Learning（FL）通过保护数据隐私，使得物联网（IoT）设备能够集体训练模型，从而彻底改变了协作机器学习的方式。FL算法分为两种主要类型：同步和异步。虽然同步FL可以有效地处理迟缓的设备，但它可能会危及收敛速度和模型准确性。相比之下，异步FL允许所有设备参与，但会产生高通信开销和潜在的模型陈旧性。为了克服这些限制，半同步FL框架引入了基于计算和通信延迟的客户端分层。不同层次的客户端以不同的频率上传其本地模型，以在延迟处理和通信成本之间取得平衡。DecantFed算法（用于半同步联邦学习的动态客户端聚类、带宽分配和本地训练）是一种动态解决方案，它优化客户端聚类、带宽分配和本地训练工作负载，以最大化数据样本处理速率。此外，DecantFed根据客户端层次调整客户端学习速率，解决了模型陈旧性问题。该算法在广泛的基准数据集（包括MNIST和CIFAR-10）的独立同分布（IID）和非IID情况下进行了大量模拟。与FedProx相比，DecantFed在收敛速度方面超越了FedAvg和FedProx，并且模型准确性最小提高了28％，表现出色。

本文旨在解决联邦学习中同步和异步算法的限制，提出了半同步FL框架并设计了DecantFed算法，旨在提高数据样本处理速度和模型准确性。

半同步FL框架引入了基于计算和通信延迟的客户端分层，DecantFed算法优化了客户端聚类、带宽分配和本地训练工作负载，同时根据客户端层次调整学习率。

DecantFed算法在MNIST和CIFAR-10等基准数据集上进行了广泛的模拟，包括IID和非IID情况。相比FedAvg和FedProx，DecantFed算法在收敛速度和模型准确性方面都表现出色，最小提升了28%的模型准确性。此外，文章还介绍了开源代码和未来工作的方向。

近期的相关研究包括：《Federated Learning: Challenges, Methods, and Future Directions》、《Asynchronous Federated Learning with Local Updates Compression and Global Error Feedback》等。