Regularizing and Aggregating Clients with Class Distribution for Personalized Federated Learning

个性化联邦学习（PFL）可以为具有不同数据分布的客户定制模型。然而，现有的PFL方法通常会产生高计算和通信成本，限制了它们的实际应用。本文提出了一种新颖的PFL方法，称为“按类别联邦平均（cwFedAVG）”，它按类别执行联邦平均（FedAVG），在服务器上为每个类别创建多个全局模型。每个本地模型通过其估计的局部类别分布（由深度网络权重的L2范数导出）加权集成这些全局模型，避免了隐私问题。然后，每个全局模型使用相同的方法对本地模型执行相同的操作。我们还新设计了“权重分布正则化器（WDR）”，以进一步增强估计局部类别分布的准确性，通过最小化类别分布和权重范数分布之间的欧几里得距离。实验结果表明，cwFedAVG与几种现有的PFL方法相匹配或优于它们。值得注意的是，cwFedAVG在概念上简单，计算效率高，因为它通过利用共享全局模型来减轻客户之间合作所需的大量计算。可视化提供了关于cwFedAVG如何在各自的类别分布上实现本地模型专业化，同时全局模型捕获跨客户的与类别相关的信息的见解。

论文提出一种新的个性化联邦学习方法，旨在解决现有方法在计算和通信成本方面的限制。

论文提出了一种基于类别的联邦平均方法（cwFedAVG），通过在服务器上为每个类别创建多个全局模型，避免了隐私泄露，并利用权重分布正则化器（WDR）进一步提高了准确性。

实验结果表明，cwFedAVG与现有的几种个性化联邦学习方法相匹配或优于它们。论文的亮点包括简单的概念、计算效率高、可视化结果展示了局部模型在各自的类别分布上的专业化能力，而全局模型则捕捉了跨客户端的类别相关信息。

最近的相关研究包括：《Federated Learning with Matched Averaging》、《Personalized Federated Learning with Theoretical Guarantees: A Model-Agnostic Meta-Learning Approach》等。