WHALE-FL: Wireless and Heterogeneity Aware Latency Efficient Federated Learning over Mobile Devices via Adaptive Subnetwork Scheduling

作为一种流行的分布式学习范例，基于移动设备的联邦学习（FL）培养了许多应用，然而实际部署受到参与设备的计算和通信异构性的阻碍。一些开创性的研究工作提出从全局模型中提取子网络，并根据设备的完整计算和通信能力将尽可能大的子网络分配给设备进行本地培训。尽管这种固定大小的子网络分配使得在异构移动设备上进行FL培训成为可能，但它无法意识到（i）设备通信和计算条件的动态变化以及（ii）FL培训进展和其对本地培训贡献的动态要求，这两者都可能导致非常长的FL培训延迟。受到这些动态的启发，本文提出了一种无线和异构感知的低延迟高效FL（WHALE-FL）方法，通过自适应子网络调度来加速FL培训。WHALE-FL不再坚持固定大小的子网络，而是引入了一种新的子网络选择效用函数来捕捉设备和FL培训动态，并根据（a）其计算和通信能力，（b）其动态计算和/或通信条件以及（c）FL培训状态及其对本地培训贡献的相应要求，指导移动设备自适应选择子网络大小进行本地培训。我们的评估表明，与同行设计相比，WHALE-FL有效地加速了FL培训，而不会牺牲学习准确性。

本文旨在解决移动设备上的异构计算和通信条件对联邦学习的影响问题，提出一种自适应子网络调度的方法以加速联邦学习训练。

WHALE-FL方法引入了一个新的子网络选择效用函数，以捕捉设备和联邦学习训练动态，并根据设备的计算和通信能力、动态计算和/或通信条件以及联邦学习训练状态及其对本地训练贡献的需求，指导移动设备自适应选择子网络大小进行本地训练。

本文的实验表明，相比同行设计，WHALE-FL可以有效地加速联邦学习训练而不牺牲学习准确性。该论文的亮点包括：提出了一种自适应子网络调度的方法，引入了一个新的子网络选择效用函数，根据设备的计算和通信能力、动态计算和/或通信条件以及联邦学习训练状态及其对本地训练贡献的需求，指导移动设备自适应选择子网络大小进行本地训练。

最近在这个领域中，还有一些相关的研究，如：《Federated Learning with Heterogeneous Clients》、《Communication-Efficient Learning of Deep Networks from Decentralized Data》等。