Federated Adaptation for Foundation Model-based Recommendations

随着大型语言模型的最近成功，特别是具有泛化能力的基础模型，将基础模型应用于推荐成为改进现有推荐系统的新范式。如何在保护隐私的前提下，使基础模型能够及时捕捉到用户偏好的变化并具有合理的通信和计算成本，成为一个新的开放性挑战。本文提出了一种新颖的联邦适应机制，以隐私保护的方式增强基于基础模型的推荐系统。具体而言，每个客户端将使用其私有数据学习轻量级个性化适配器。然后，适配器与预训练的基础模型协作，以精细的方式高效地提供推荐服务。重要的是，用户的私有行为数据得到保护，因为它不会与服务器共享。这种基于数据本地化的隐私保护是通过联邦学习框架体现的。该模型可以确保所有适配器都融合了共享的知识，同时保留了每个用户的个人偏好。在四个基准数据集上的实验结果证明了我们方法的优越性。实现代码可用于简化再现。

本论文的问题是如何在保护用户隐私的情况下，使用基于预训练模型的推荐系统来捕捉用户偏好变化。

本论文提出了一种新的联邦适应机制，使得每个客户端都可以使用其私有数据来学习轻量级个性化适配器。适配器与预训练的基础模型协作，以精细的方式高效地提供推荐服务。这种数据本地化的隐私保护体现在联邦学习框架中。

本论文的亮点包括提出了一种新的联邦适应机制，使得每个客户端都可以使用其私有数据来学习轻量级个性化适配器，同时保护用户隐私。实验结果表明，该方法在四个基准数据集上的表现优越。此外，该论文提供了实现代码以方便复现。

最近的相关研究包括使用联邦学习的隐私保护推荐系统，如《Privacy-Preserving Collaborative Filtering with Untrusted Parties Based on Secure Matrix Factorization》。