FedSC: Provable Federated Self-supervised Learning with Spectral Contrastive Objective over Non-i.i.d. Data

最近，人们开始尝试将自监督学习（SSL）与联邦学习（FL）框架相结合。联邦自监督学习（FedSSL）的一个独特挑战是，FedSSL的全局目标通常不等于本地SSL目标的加权和。因此，传统方法（如联邦平均FedAvg）无法精确地最小化FedSSL全局目标，尤其是当数据不是独立同分布时，往往导致次优性能。为了填补这一空白，我们提出了一种可证明的FedSSL算法，称为FedSC，基于谱对比目标。在FedSC中，客户端除了定期共享模型权重外，还共享数据表示的相关矩阵，这使得不仅可以进行客户端内部的数据样本对比和收缩，还可以进行客户端之间的数据样本对比，从而提高了数据表示的质量。当共享相关矩阵时，采用差分隐私（DP）保护来控制本地数据集的额外隐私泄露。我们还对收敛性和额外隐私泄露进行了理论分析。实验结果验证了我们提出的算法的有效性。

本文旨在解决联邦自监督学习（FedSSL）中全局目标不等于本地目标的问题，提出一种名为FedSC的可证明算法，用于优化联邦自监督学习任务的全局目标。

FedSC基于谱对比目标，通过周期性共享数据表示的相关矩阵和模型权重，使客户端之间的数据样本具有内部对比和内部压缩，从而提高了数据表示的质量。使用差分隐私保护控制了数据表示相关矩阵共享时的附加隐私泄露。

本文提出的FedSC算法通过实验证明了其在联邦自监督学习任务中的有效性。实验使用的数据集包括CIFAR-10、CIFAR-100和ImageNet。本文提供的理论分析证明了FedSC的收敛性和额外隐私泄露控制。

近期的相关研究包括《Federated Contrastive Learning》、《Deep Semi-Supervised Federated Learning》等。