pFedAFM: Adaptive Feature Mixture for Batch-Level Personalization in Heterogeneous Federated Learning

本文提出了一种名为“自适应特征混合的异构模型个性化联邦学习（pFedAFM）”的方法，用于解决现有异构模型个性化联邦学习方法无法解决批量级数据异构问题的缺陷。该方法包括三个创新设计：1）在每个客户端的本地异构模型（包括异构特征提取器和预测头）旁边分配一个共享全局同构小特征提取器，以促进跨客户端知识融合。两个特征提取器共享本地异构模型的预测头，其中包含丰富的个性化预测知识，以保留个性化预测能力。2）设计了一种迭代训练策略，交替训练全局同构小特征提取器和本地异构大模型，以实现有效的全局-本地知识交换。3）设计了一个可训练的权重向量，用于动态混合两个特征提取器提取的特征，以适应批量级数据异构。理论分析证明了pFedAFM可以随着时间的推移收敛。在两个基准数据集上的广泛实验证明，该方法显著优于7种最先进的异构模型个性化联邦学习方法，最高可实现7.93％的准确率提高，同时产生较低的通信和计算成本。

本文旨在解决模型异构个性化联邦学习中批次数据异质性的问题，提出了一种新的方法pFedAFM。

pFedAFM包含三个新设计：共享全局同质小特征提取器、交替训练策略和可训练的权重向量。通过这些设计，pFedAFM能够在保留个性化预测能力的同时，实现全局-本地知识交换和动态特征混合，从而有效地解决了批次数据异质性的问题。

本文在两个基准数据集上进行了广泛的实验，证明pFedAFM在低通信和计算成本的情况下，显著优于7种现有的模型异构个性化联邦学习方法，最高精度提高了7.93%。

与本文相关的研究包括：Model-Agnostic Meta-Learning for Fast Adaptation of Deep Networks、Federated Learning with Non-IID Data、Personalized Federated Learning with Theoretical Guarantees等。