FDLoRA: Personalized Federated Learning of Large Language Model via Dual LoRA Tuning

大型语言模型（LLMs）已成为各个领域重要的组成部分，但它们的训练需要大量的计算资源和丰富的标注数据。这给为个人用户（客户端）稳健地训练LLMs带来了挑战。为了解决这个问题，直观的想法是引入联邦学习（FL），它可以在分布式私有数据上协同训练模型。然而，现有方法面临数据异构性、系统异构性和模型大小等挑战，导致性能不佳和成本高。在本文中，我们提出了个性化联邦学习（PFL）框架的一种变体，即FDLoRA，它允许客户端是单个设备或集群，并采用低秩适应（LoRA）调整。FDLoRA在每个客户端上设置双重LoRA模块，分别捕获个性化和全局知识，只有全局LoRA模块上传参数到中央服务器以聚合跨客户端知识。最后，采用自适应融合方法来组合双重LoRA的参数。这使得FDLoRA能够有效利用分布在不同客户端上的私有数据，从而提高客户端的性能，而不会产生高通信和计算成本。我们在两个实践场景下进行了广泛的实验。结果表明，FDLoRA在性能、稳定性、鲁棒性、计算成本和通信成本等方面均优于六个基线。

如何在个性化场景下，通过联邦学习提高模型性能，同时降低通信和计算成本？

提出了一种个性化联邦学习框架FDLoRA，采用低秩自适应调节（LoRA）技术，实现了客户端个性化和全局知识的捕捉，并采用自适应融合方法将这两者相结合。

该论文在两个实际场景下进行了广泛的实验，结果表明FDLoRA在性能、稳定性、鲁棒性、计算和通信成本方面优于六个基线方法。

最近的相关研究包括Personalized Federated Learning、Low-rank Matrix Factorization、Adaptive Fusion等。