FedCRL: Personalized Federated Learning with Contrastive Shared Representations for Label Heterogeneity in Non-IID Data

为了解决分布式机器学习场景中由标签分布偏斜和数据稀缺导致的异质性问题，本文提出了一种新颖的个性化联邦学习（PFL）算法，名为联邦对比表示学习（FedCRL）。FedCRL在共享表示上引入对比表示学习（CRL）以促进客户端的知识获取，从而应对异质性问题。具体而言，本地模型参数和本地表示的平均值均被视为可共享的信息发送给服务器，然后进行全局聚合。CRL应用于本地表示和全局表示之间，通过将相似的表示靠近并分离不相似的表示来规范个性化训练，从而增强本地模型的外部知识并避免受到标签分布偏斜的影响。此外，FedCRL采用本地聚合来解决数据稀缺问题。引入了一种损失加权机制，利用每个本地模型的对比损失来指导本地聚合，协调全局模型在每个客户端中的参与，从而帮助具有稀缺数据的客户端。我们的模拟结果表明，FedCRL在不同程度的标签异质性数据集上实现了准确度的提高，证明了其有效性。

本文旨在解决分布式机器学习场景中由标签分布偏斜和数据稀缺性导致的异质性问题。具体地，论文提出了一种名为Federated Contrastive Representation Learning (FedCRL)的个性化联邦学习算法，旨在通过对共享表示进行对比表示学习，来提高本地模型的性能和避免受到标签分布偏斜的影响。

FedCRL算法的关键思路是通过对比表示学习（CRL）在共享表示上进行正则化，从而提高本地模型的性能和避免受到标签分布偏斜的影响。此外，FedCRL还采用了本地聚合机制来解决数据稀缺性问题，并引入了一种损失加权机制来指导本地聚合。

本文的亮点包括：1. 提出了一种新的个性化联邦学习算法FedCRL，旨在解决标签分布偏斜和数据稀缺性问题；2. 引入了对比表示学习（CRL）来提高本地模型的性能和避免受到标签分布偏斜的影响；3. 采用了本地聚合机制来解决数据稀缺性问题，并引入了一种损失加权机制来指导本地聚合；4. 实验结果表明FedCRL算法的有效性，相比现有方法在不同程度的标签异质性数据集上均取得了精度提高。

与本文相关的研究包括联邦学习、对比表示学习（CRL）以及解决标签分布偏斜和数据稀缺性问题的方法。例如，Federated Averaging算法是一种常见的联邦学习算法，CPC算法是一种常见的对比表示学习算法。此外，还有一些其他的解决标签分布偏斜和数据稀缺性问题的方法，如Federated Meta-Learning算法和Local Aggregation算法等。