A Mutual Information Perspective on Federated Contrastive Learning

我们通过SimCLR和多视角互信息最大化的视角研究联邦设置中的对比学习。在此过程中，我们发现对比表示学习与用户验证之间存在联系；通过在每个客户端的本地SimCLR损失中添加用户验证损失，我们恢复了全局多视角互信息的下限。为了适应当一些标记数据可在客户端处获得的情况，我们将SimCLR扩展到联邦半监督设置。我们发现可以通过两个变化获得监督的SimCLR目标：a）对共享相同标签的数据点计算对比损失，b）需要一个额外的辅助头部，从两个视角中预测正确的标签。除了所提出的SimCLR扩展，我们还研究了不同的非独立同分布性来源如何影响通过全局互信息最大化进行联邦无监督学习的性能；我们发现全局目标对某些非独立同分布性来源是有益的，但对其他来源则是有害的。我们通过各种任务对我们提出的扩展进行实证评估，以验证我们的说法，并进一步证明我们的修改推广到其他预训练方法。

本论文试图探究在联邦学习环境中利用SimCLR和多视角互信息最大化来进行对比学习，并通过添加用户验证损失来恢复全局多视角互信息的下限。同时，论文还探讨了不同的非独立同分布性质对联邦无监督学习的影响。

论文提出了一种在联邦学习环境中进行对比学习的方法，并通过添加用户验证损失来提高准确性。同时，论文还扩展了该方法以适应半监督和监督学习。

论文通过实验证明了所提出的方法在各种任务中的有效性，并且还探讨了不同的非独立同分布性质对联邦无监督学习的影响。此外，论文还提出了一种扩展方法，使得该方法适用于其他预训练方法。

与本论文相关的研究包括：《Federated Learning with Matched Averaging》、《Federated Learning with Non-IID Data: Convergence Analysis and Implementation》、《Federated Learning: Strategies for Improving Communication Efficiency》等。