FedAC: An Adaptive Clustered Federated Learning Framework for Heterogeneous Data

本文提出了一种名为聚类联邦学习（CFL）的方法，通过将相似的客户端分组进行聚类模型训练，以缓解联邦学习（FL）中由数据异质性引起的性能恶化问题。然而，目前的CFL方法由于全局和簇内知识的不充分整合以及缺乏高效的在线模型相似度度量而遇到困难，同时将簇数视为固定的超参数会限制其灵活性和鲁棒性。因此，本文提出了一种自适应CFL框架，命名为FedAC，该框架（1）通过解耦神经网络并为每个子模块使用不同的聚合方法，有效地将全局知识整合到簇内学习中，从而显著提高性能；（2）包括一种成本效益的基于降维的在线模型相似度度量方法；（3）增加了一个簇数微调模块，以提高在复杂和异构环境中的适应性和可扩展性。广泛的实验表明，与SOTA方法相比，FedAC在不同的非独立同分布设置下，CIFAR-10和CIFAR-100数据集的测试准确性分别提高了约1.82％和12.67％，达到了更优的实验效果。

本文旨在通过聚类联邦学习（CFL）来解决联邦学习中由数据异质性引起的性能下降问题，同时解决当前CFL方法中全局和簇内知识不足以及缺乏高效在线模型相似度度量的问题，同时解决了簇数作为固定超参数限制灵活性和鲁棒性的问题。

本文提出了一种自适应CFL框架，名为FedAC。该框架通过解耦神经网络，为每个子模块使用不同的聚合方法，有效地将全局知识整合到簇内学习中，从而显著提高了性能。同时，该框架还包括一种基于降维的经济在线模型相似性度量，以及一个簇数微调模块，以提高复杂、异质环境下的适应性和可扩展性。

本文的实验表明，与SOTA方法相比，在不同的非IID设置下，FedAC在CIFAR-10和CIFAR-100数据集上将测试准确性提高了约1.82％和12.67％，具有优异的经验性能。值得注意的是，本文还开源了代码。

最近在这个领域中，还有一些相关的研究。例如，Federated Learning with Matched Averaging和Cluster-Based Federated Learning for Large-Scale and Heterogeneous Data等。