Rethinking the Representation in Federated Unsupervised Learning with Non-IID Data

联邦学习在建模分散数据方面具有有效性能。实际应用中，客户端数据标签不够清晰，这使得联邦非监督学习（FUSL）在非独立同分布数据方面具有潜力。然而，现有的FUSL方法的性能受到了表示不足的影响，即（1）局部模型的表示崩溃缠绕了局部和全局模型，以及（2）局部模型之间的表示空间不一致。前者表示局部模型中的表示崩溃将随后影响全局模型和其他局部模型。后者意味着由于缺乏监督信号，客户端模型数据表示具有不一致的参数。在本研究中，我们提出了FedU2，它增强了在非独立同分布数据的FUSL中生成均匀和统一表示的能力。具体而言，FedU2由灵活的均匀正则化器（FUR）和高效的统一聚合器（EUA）组成。每个客户端中的FUR通过均匀分散样本来避免表示崩溃，而服务器中的EUA通过约束一致的客户端模型更新来促进统一表示。为了广泛验证FedU2的性能，我们在两个基准数据集（即CIFAR10和CIFAR100）上进行了跨设备和跨存储评估实验。

本论文旨在解决联邦非监督学习中的局部模型表示崩塌和不一致性表示空间的问题。

本文提出了一种名为FedU2的方法，通过灵活的统一正则化器和高效的统一聚合器来增强联邦非监督学习中的生成均匀和统一的表示。

本文的实验结果表明，FedU2在两个基准数据集上的跨设备和跨数据中心评估实验中具有优异的表现。同时，本文的方法可以避免局部模型表示崩塌和不一致性表示空间的问题。

与本文相关的研究包括联邦学习、联邦非监督学习和模型表示学习等领域的研究。