Automated Federated Pipeline for Parameter-Efficient Fine-Tuning of Large Language Models

最近，先进智能生成内容（AIGC），尤其是大型语言模型（LLMs）的开发激增。然而，对于许多下游任务，需要使用私有数据对LLMs进行微调。虽然联邦学习为LLM微调提供了有前途的隐私保护解决方案，但LLM的巨大大小，加上高计算和通信需求，使其难以应用于下游任务。更重要的是，在现实世界的情况下，私有边缘服务器通常具有不同的计算和网络资源，这给LLM微调引入了额外的复杂性。为了解决这些问题，我们设计并实现了一个自动联邦管道，名为FedPipe，以最小的训练成本微调LLMs，但不会增加任何推理延迟。FedPipe首先基于其对LLM训练的贡献识别要微调的权重。然后为每个选定的权重配置一个低秩适配器，在边缘服务器上训练本地低秩适配器，并聚合所有边缘服务器的本地适配器以微调整个LLM。最后，根据边缘服务器的要求适当量化LLM的参数以减少内存空间。广泛的实验表明，FedPipe加速了模型训练，并实现了比最先进的基准更高的准确性。

本论文旨在解决使用私有数据进行大型语言模型（LLM）微调的问题，尤其是在具有不同计算和网络资源的私有边缘服务器上微调LLM的问题。

本论文提出了一个名为FedPipe的自动联邦管道，通过识别需要微调的权重、配置低秩适配器、聚合所有边缘服务器的本地适配器以微调整个LLM，并适当量化LLM的参数以减少内存空间，从而在不增加推理延迟的情况下实现LLM的微调。

本论文的亮点包括：1）提出了一个自动化联邦管道FedPipe，可以在私有边缘服务器上高效地微调LLM；2）使用了多个数据集进行实验，并且实验结果表明FedPipe可以加速模型训练并且比现有的基准模型具有更高的准确性；3）本论文提供了开源代码，可以帮助研究人员更好地理解和使用FedPipe。

最近在这个领域中，还有一些相关的研究，例如《Federated Learning for Language Models: A Deep Dive》、《Federated Learning with Non-IID Data for Large-Scale Language Models》等。