FedDistill: Global Model Distillation for Local Model De-Biasing in Non-IID Federated Learning

Federated Learning (FL) 是一种新颖的方法，它允许在保护数据隐私的前提下，利用在分散设备上训练的模型进行协作机器学习。然而，FL 面临着由于客户端之间分布不均匀（非独立同分布）的数据而带来的挑战，这影响了模型的性能和泛化能力。为了解决非独立同分布的问题，最近的研究利用全局模型作为本地模型的教学机制。然而，我们的初步研究表明，它们的有效性受到不平衡数据分布的限制，这导致本地模型中出现偏差，并导致“本地遗忘”现象，即模型的泛化能力随时间降低，特别是对于少数类别。本文介绍了 FedDistill，这是一个增强从全局模型到本地模型的知识传递的框架，重点解决了类别分布不均衡的问题。具体而言，FedDistill 使用组蒸馏，根据本地数据集中类别的频率分割类别，以便为样本较少的类别提供专注的蒸馏过程。此外，FedDistill 将全局模型分解为特征提取器和分类器。这种分离赋予本地模型更广泛的数据表示能力，并确保对所有类别进行更准确的分类。FedDistill 缓解了数据不平衡的不良影响，确保本地模型不会遗忘少数类别，而是变得更加擅长准确识别和分类它们。我们的综合实验表明，FedDistill 的有效性超过了几个基准数据集上的现有基准线，包括准确性和收敛速度。

解决问题：本论文旨在解决联邦学习中非均匀分布数据（非iid）的问题，该问题会影响模型性能和泛化能力。

关键思路：论文提出了FedDistill框架，通过使用组蒸馏来解决非均衡数据分布的问题，该框架将全局模型分解为特征提取器和分类器，以提高局部模型的泛化能力和准确性。

亮点：FedDistill框架在多个基准数据集上进行了全面的实验，证明了其在准确性和收敛速度方面优于现有基线。本文的方法可以帮助解决联邦学习中的非均衡数据分布问题，对于解决实际应用中的隐私保护和数据分散问题具有重要意义。

相关研究：近期的相关研究包括《Federated Learning with Non-IID Data: An Empirical Study》、《Federated Learning: Strategies for Improving Communication Efficiency》等。