FedBiOT: LLM Local Fine-tuning in Federated Learning without Full Model

大型语言模型（LLMs）在使用适当的数据进行微调后，在许多特定领域的任务中表现出惊人的性能。然而，许多特定领域的数据是分布在多个所有者之间的私有数据。因此，这个困境引起了如何在联邦学习（FL）中执行LLM微调的兴趣。然而，面对有限的计算和通信能力，FL客户端很难有效地进行LLM微调。为此，我们介绍了FedBiOT，一种资源高效的LLM微调方法，用于FL。具体而言，我们的方法涉及服务器生成一个压缩LLM，并将其性能与完整模型对齐。随后，客户端微调压缩模型的轻量级但重要部分，称为适配器。请注意，由于服务器无法访问客户端拥有的私有数据，因此服务器用于对齐的数据与客户端用于微调的数据具有不同的分布。我们将问题转化为双层优化问题，以最小化数据差异的负面影响，并推导出服务器和客户端的更新规则。我们在LLaMA-2上进行了广泛的实验，实证表明适配器在重新集成到全局LLM时具有异常性能。结果还表明，与现有基准相比，所提出的FedBiOT显着减少了资源消耗，同时实现了可比较的性能水平。

论文旨在解决在联邦学习中如何有效地进行大型语言模型Fine-tuning的问题，以及如何在数据不匹配的情况下最小化负面影响。

该论文提出了一种资源高效的LLM Fine-tuning方法，即FedBiOT。该方法通过让服务器生成一个压缩的LLM并与完整模型的性能对齐，然后让客户端Fine-tuning压缩模型的一个轻量级但重要的部分，即适配器，来进行Fine-tuning。

论文通过实验表明，适配器在重新整合到全局LLM时具有异常的性能。FedBiOT相比现有基准测试显著降低了资源消耗，同时实现了可比较的性能水平。论文还开源了代码。

与该论文相关的研究包括：《Federated Learning with Matched Averaging》、《Federated Learning with Non-IID Data: Convergence Analysis and Implementation》等。