Harmonizing Generalization and Personalization in Federated Prompt Learning

Federated Prompt Learning（FPL）通过提示调整将大型预训练视觉-语言模型（VLM）纳入联邦学习。VLM的可转移表示和显著的泛化能力使它们与联邦学习的集成高度兼容。在联邦学习中解决数据异构性需要个性化，但是在客户端过度关注个性化可能会影响模型的有效泛化能力。为了保持VLM的卓越泛化能力，在FPL中在个性化和泛化之间取得平衡至关重要。为了解决这个挑战，我们提出了具有CLIP泛化和低秩个性化的联邦提示学习（FedPGP），它使用预训练的CLIP来提供全局提示的知识引导，以改进泛化，并结合低秩适应项来个性化全局提示。此外，FedPGP集成了提示级对比损失，以同时实现知识引导和个性化适应，从而在FPL中实现个性化和泛化之间的和谐平衡。我们在各种数据集上进行了广泛的实验，探索了异构数据的类别级和域级基础到新颖泛化情况，展示了FedPGP在平衡泛化和个性化方面的优越性。

本论文旨在解决联邦学习中的个性化和泛化之间的平衡问题，通过Federated Prompt Learning with CLIP Generalization and low-rank Personalization (FedPGP)方法提供一种解决方案。

本文提出了一种结合预训练的CLIP模型和低秩自适应项的方法，通过prompt-wise对比损失函数实现知识引导和个性化自适应的平衡，从而在联邦学习中实现个性化和泛化之间的平衡。

本文在不同数据集上进行了实验，展示了FedPGP在类别层面和领域层面上的基于先验知识的泛化能力，以及在处理异构数据时平衡个性化和泛化的能力。此外，本文还开源了代码。

最近的相关研究包括Federated Learning with Matched Averaging (FedMA)、Federated Learning with Personalization Layers (PL)、Federated Learning with Global Model Personalization (GMP)等。