Safely Learning with Private Data: A Federated Learning Framework for Large Language Model

私有数据比公共数据更大且质量更高，可以极大地提高大型语言模型（LLM）的性能。然而，由于隐私问题，这些数据通常分散在多个数据孤岛中，使得安全地利用这些数据进行LLM训练成为一项挑战。联邦学习（FL）是用于训练分布式私有数据模型的理想解决方案，但传统的框架如FedAvg由于对客户端的高计算要求而不适用于LLM。另一种选择是分割学习，该方法将大部分训练参数卸载到服务器上，同时在本地训练嵌入和输出层，这使得它更适合LLM。然而，它面临着安全和效率方面的重大挑战。首先，嵌入的梯度容易受到攻击，导致可能的私有数据反向工程。此外，服务器一次只能处理一个客户端的训练请求的限制阻碍了并行训练，严重影响了训练效率。在本文中，我们提出了一种用于LLM的联邦学习框架，称为FL-GLM，它可以防止由服务器端和对等客户端攻击引起的数据泄漏，同时提高训练效率。具体来说，我们首先将输入块和输出块放置在本地客户端上，以防止嵌入梯度攻击来自服务器。其次，我们在客户端-服务器通信中采用密钥加密，以防止对等客户端的反向工程攻击。最后，我们采用优化方法如客户端批处理或服务器分层，根据服务器的实际计算能力采用不同的加速方法。在NLU和生成任务上的实验结果表明，FL-GLM实现了与集中式chatGLM模型相当的指标，验证了我们的联邦学习框架的有效性。

如何在保护隐私的前提下，利用分散的私人数据来训练大型语言模型，以提高模型质量？传统的联邦学习框架不适用于大型语言模型，因为它们对客户端的计算要求较高。

提出了一种名为FL-GLM的联邦学习框架，用于训练大型语言模型。该框架将输入块和输出块放置在本地客户端上，以防止服务器端和对等客户端的攻击。在客户端-服务器通信期间采用密钥加密以防止反向工程攻击。此外，采用不同的加速方法，如客户端批处理或服务器分层，以根据服务器的实际计算能力来进行优化。

实验结果表明，FL-GLM在NLU和生成任务上的表现与集中式chatGLM模型相当。这篇论文提出的FL-GLM框架可以有效地保护隐私并提高训练效率。

与此相关的研究包括FedAvg和split learning等联邦学习框架。