Improving LoRA in Privacy-preserving Federated Learning

Low-rank adaptation (LoRA) 是预训练语言模型中最流行的任务特定参数高效微调（PEFT）方法之一，因为它具有良好的性能和计算效率。LoRA 在每个冻结的预训练模型模块的顶部注入了两个可训练秩分解矩阵的乘积。然而，在隐私保护联邦学习（FL）的环境中应用LoRA时，由于以下事实，LoRA可能会变得不稳定：1）数据异构性和多步本地更新的影响是不可忽视的，2）为了保证差分隐私（DP）而强制更新梯度的加性噪声可能会被放大，3）最终性能容易受到超参数的影响。导致这些现象的关键因素是本地客户端共同优化两个低秩矩阵，而中央服务器则分别聚合它们之间的不协调。因此，本文提出了一种有效的LoRA版本Federated Freeze A LoRA (FFA-LoRA)，以缓解这些挑战，并进一步减少联邦微调LLMs的通信成本。FFA-LoRA的核心思想是固定随机初始化的非零矩阵，仅微调零初始化的矩阵。与LoRA相比，FFA-LoRA在隐私保护FL中具有实际和理论上的优势。我们的实验表明，在各种FL任务中，FFA-LoRA提供了更一致的性能和更好的计算效率，比原始的LoRA更优秀。

本文旨在解决在隐私保护的联邦学习中，使用低秩适应（LoRA）进行预训练语言模型的任务特定参数有效微调（PEFT）时出现的不稳定性问题。

FFA-LoRA的核心思想是固定随机初始化的非零矩阵，并仅微调零初始化的矩阵。相比于LoRA，FFA-LoRA在隐私保护联邦学习中提供更一致的性能和更好的计算效率。

论文提出了一种名为FFA-LoRA的新方法，可以缓解在隐私保护联邦学习中使用LoRA时出现的问题，并将联邦微调LLMs的通信成本减半。实验表明，FFA-LoRA在各种联邦学习任务中提供更一致的性能和更好的计算效率。

在最近的相关研究中，还有一些使用低秩适应进行预训练语言模型的任务特定参数有效微调的方法，如L2T-ww和L2T-w。