Taming Cross-Domain Representation Variance in Federated Prototype Learning with Heterogeneous Data Domains

Federated Learning（FL）允许协作机器学习训练而不共享私有数据。虽然大多数FL方法假设客户端之间具有相同的数据域，但现实场景通常涉及异构数据域。Federated Prototype Learning（FedPL）解决了这个问题，使用均值特征向量作为原型来增强模型的泛化能力。然而，现有的FedPL方法为每个客户端创建相同数量的原型，导致跨域性能差距和数据分布不同的客户端之间的差异。为了减轻跨域特征表示方差，我们引入了FedPLVM，建立了方差感知的双层原型聚类，并采用了一种新颖的α-稀疏原型损失。双层原型聚类策略基于私有数据特征创建本地聚类原型，然后执行全局原型聚类以减少通信复杂性并保护本地数据隐私。α-稀疏原型损失对来自低表示域的样本进行对齐，增强了类内相似性并减少了类间相似性。在Digit-5、Office-10和DomainNet数据集上的评估表明，我们的方法优于现有方法。

解决问题：该论文旨在解决异构数据领域下联邦学习中的特征表示差异问题，提出了一种新的联邦原型学习方法（FedPLVM）。

关键思路：FedPLVM使用双层原型聚类和新的α-稀疏原型损失来解决跨领域特征表示差异问题。该方法首先基于私有数据特征创建本地聚类原型，然后进行全局原型聚类以减少通信复杂性并保护本地数据隐私。同时，α-稀疏原型损失可以增强类内相似性并减少类间相似性，从而提高模型的泛化性能。

其他亮点：论文的实验结果表明，FedPLVM方法在Digit-5、Office-10和DomainNet数据集上的性能优于现有方法。此外，论文还开源了代码，方便后续研究者使用和扩展。

相关研究：在异构数据领域下的联邦学习方面，已经有一些相关的研究，如FedPL和FedAvg等。