SplitLoRA: A Split Parameter-Efficient Fine-Tuning Framework for Large Language Models

大型语言模型（LLMs）在处理高复杂度模型和大规模数据集方面的可扩展性已经在关键领域取得了巨大成功。虽然迫切需要为LLMs获取更多的训练数据，但令人担忧的现实是高质量公共数据集在几年内就会耗尽。鉴于此，最近提出了联邦学习（FL）LLM微调范例，以促进在分布式私有数据上进行协作LLM微调，多个数据所有者共同微调共享的LLM，而不共享原始数据。然而，LLMs的惊人模型大小给客户端带来了沉重的计算和通信负担，给FL LLM微调范例的民主化带来了重大障碍。为了解决这个问题，分割学习（SL）已经成为一种有前途的解决方案，通过模型分区将主要训练工作负载卸载到服务器上，同时用更小的数据大小交换激活/激活梯度，而不是整个LLM。不幸的是，关于SL LLM微调范例的研究仍处于萌芽阶段。为了填补这一空白，本文提出了第一个SL LLM微调框架，名为SplitLoRA。SplitLoRA建立在分割联邦学习（SFL）框架上，融合了FL的并行训练优势和SL的模型分割优势，从而大大提高了训练效率。值得注意的是，SplitLoRA是SL LLM微调的首个开源基准，为致力于推进SL LLM微调的研究工作提供了基础。广泛的模拟验证表明，SplitLoRA在比最先进的LLM微调框架更短的时间内实现了目标精度，展示了SplitLoRA的卓越训练性能。项目页面可在https://fduinc.github.io/splitlora/上找到。

解决LLM fine-tuning中的计算和通信负担问题，提高模型训练效率

使用Split Learning和Federated Learning相结合的方法，将模型分割并在多个客户端上进行训练，减轻计算和通信负担

提出了SplitLoRA框架，是首个开源的SL LLM fine-tuning benchmark；通过实验验证了SplitLoRA的训练效率优于其他现有框架；

相关研究包括Federated Learning和Split Learning在其他领域的应用，如图像分类、语音识别等，以及在LLM fine-tuning中的应用，如FedLM和SplitFed。