Harnessing Increased Client Participation with Cohort-Parallel Federated Learning

本研究提出了一种新的学习方法，称为Cohort-Parallel Federated Learning (CPFL)，它将网络分成更小的分区或队列，每个队列独立地使用FL训练全局模型，直到收敛，然后使用一次性知识蒸馏和跨域无标签数据集将每个队列产生的模型统一起来。CPFL的原理是，相比所有节点都参与的单一网络设置，较小的、孤立的网络更快地收敛。通过在CIFAR-10和FEMNIST图像分类任务上进行实验，我们研究了队列数量、模型精度、训练时间以及计算和通信资源之间的平衡。与传统的FL相比，使用四个队列、非IID数据分布和CIFAR-10的CPFL训练时间减少了1.9倍，资源使用减少了1.3倍，并且测试准确度下降很小。

本论文旨在提高联邦学习（FL）中客户端更新的效果，通过将网络分成更小的分区或队列来实现。研究人员发现，较小的独立网络比所有节点参与的单一网络更快地收敛。

本论文提出了一种新的学习方法，称为Cohort-Parallel Federated Learning（CPFL），它将网络分成多个队列，每个队列独立地进行FL训练，直到收敛。然后使用一次性知识蒸馏和跨域无标签数据集将每个队列产生的模型统一起来。

论文使用了CIFAR-10和FEMNIST图像分类任务的实验来研究队列数量、模型准确度、训练时间和计算资源之间的平衡，以及数据分布的影响。与传统的FL相比，CPFL在四个队列、非IID数据分布和CIFAR-10上可以减少1.9倍的训练时间和1.3倍的资源使用率，而测试准确度下降很小。值得关注的是，CPFL的设计可以在多个领域中应用，例如医疗保健和金融领域。

在近期的相关研究中，有一些关于联邦学习的论文，如《Federated Learning: Challenges, Methods, and Future Directions》和《Communication-Efficient Learning of Deep Networks from Decentralized Data》。