Tackling Feature-Classifier Mismatch in Federated Learning via Prompt-Driven Feature Transformation

传统的联邦学习方法（如FedAvg）在面对数据异构性时，全局模型的表现不佳。个性化联邦学习（PFL）使客户能够训练个性化模型以更好地适应其本地数据分布。然而，我们惊奇地发现，FedAvg中的特征提取器优于大多数PFL方法中的特征提取器。更有趣的是，通过对特征提取器提取的本地特征进行线性变换以与分类器对齐，FedAvg可以超过大多数PFL方法。这表明FedAvg表现不佳的主要原因在于本地提取的特征与分类器之间的不匹配。虽然当前的PFL方法在一定程度上缓解了这个问题，但它们的设计牺牲了特征提取器的质量，从而限制了PFL的全部潜力。在本文中，我们提出了一个新的PFL框架FedPFT，以解决不匹配问题，并提高特征提取器的质量。FedPFT在全局特征提取器和分类器之间集成了一个特征转换模块，由个性化提示驱动。在每一轮中，客户首先训练提示以转换本地特征以匹配全局分类器，然后再训练模型参数。这种方法还可以对客户的训练目标进行对齐，减少数据异构性对模型协作的影响。此外，FedPFT的特征转换模块具有高度可扩展性，允许使用不同的提示来定制本地特征以适应各种任务。利用这一点，我们引入了一个协作对比学习任务来进一步改善特征提取器的质量。我们的实验表明，FedPFT的性能比最先进的方法提高了最多7.08%。

本论文旨在解决联邦学习中数据异质性导致全局模型表现不佳的问题，提出一种新的个性化联邦学习框架FedPFT，以解决局部特征提取器与分类器之间的不匹配问题，并增强特征提取器的质量。

FedPFT框架在全局特征提取器和分类器之间引入了一个个性化提示驱动的特征转换模块，以解决局部特征提取器与分类器之间的不匹配问题，同时提高特征提取器的质量。在每轮联邦学习中，客户端首先训练提示以转换本地特征以匹配全局分类器，然后再训练模型参数。此外，FedPFT的特征转换模块高度可扩展，可以使用不同的提示来定制本地特征以适应各种任务。

论文的亮点有：1.提出了一个新的个性化联邦学习框架FedPFT，以解决局部特征提取器与分类器之间的不匹配问题，并增强特征提取器的质量；2.引入一个个性化提示驱动的特征转换模块，以匹配全局分类器；3.提出了一种协作对比学习任务，进一步提高特征提取器的质量；4.在多个数据集上进行了实验，结果表明FedPFT的性能超过了现有的联邦学习方法。

与本论文相关的研究包括：1.传统的联邦学习方法，如FedAvg；2.个性化联邦学习方法，如FedPer；3.其他解决数据异质性问题的联邦学习方法，如FedProx、FedDF等。