One-Shot Sequential Federated Learning for Non-IID Data by Enhancing Local Model Diversity

传统的联邦学习主要集中在并行设置（PFL）上，这可能会带来重大的通信和计算成本。相比之下，一次性和顺序联邦学习（SFL）已经成为缓解这些成本的创新范式。然而，在一次性和SFL设置中，非独立同分布（non-IID）数据的问题仍然存在，这在客户端之间的通信受限的情况下更加严重。在本文中，我们通过提出一种本地模型多样性增强策略，改进了针对非IID数据的一次性顺序联邦学习。具体而言，为了利用本地模型多样性提高模型性能的潜力，我们为每个客户端引入了一个本地模型池，其中包含本地训练期间生成的多样化模型，并提出了两种距离度量方法，以进一步增强模型多样性并减轻非IID数据的影响。因此，我们提出的框架可以提高全局模型的性能，同时保持低通信成本。广泛的实验证明，我们的方法展现出比现有的一次性PFL方法更好的性能，并在标签倾斜和域漂移任务上（例如在CIFAR-10数据集上提高了6%以上的准确度）与最先进的一次性SFL方法相比取得更好的准确度。

本论文旨在解决一次性和序列联邦学习中的非独立同分布数据问题，提出了一种局部模型多样性增强策略。

为了提高模型性能，论文提出了为每个客户端引入一个局部模型池的策略，并提出两种距离度量方法来增强模型多样性和缓解非独立同分布数据的影响。

论文通过实验表明，该方法在标签偏斜和领域偏移任务上的表现优于现有的一次性并行联邦学习方法和最先进的一次性序列联邦学习方法，并在CIFAR-10数据集上实现了6%以上的准确率提高。

与此相关的研究包括传统的联邦学习和一次性、序列联邦学习，以及解决非独立同分布数据问题的其他方法，如元学习和迁移学习。