FedsLLM: Federated Split Learning for Large Language Models over Communication Networks

本文旨在解决在无线通信网络中部署大型语言模型所面临的挑战，将低秩适应技术（LoRA）与分裂式联邦学习框架相结合，提出了用于大型语言模型的联邦分裂学习（FedsLLM）框架。本文所介绍的方法利用LoRA技术将网络分成客户端子网络和服务器子网络，以减少处理负载。它利用联邦服务器来聚合和更新客户端模型。由于训练数据通过客户端、主服务器和联邦服务器之间的无线网络传输，因此训练延迟取决于学习准确性和通信带宽的分配。本文通过集成计算和通信优化来建模训练延迟的最小化，将优化问题简化为凸问题以找到最优解。此外，本文提出了一个引理，描述了该问题的精确解。模拟结果表明，所提出的优化算法将延迟平均降低了47.63％，相比未经优化的情况。

本论文旨在解决在无线通信网络中部署大型语言模型所面临的挑战，提出了联邦分裂学习框架（FedsLLM），该框架将低秩适应技术（LoRA）与分裂学习框架相结合，利用LoRA技术将网络分成客户端子网络和服务器子网络，利用联邦服务器聚合和更新客户端模型。

本论文提出了一种联邦分裂学习框架，将计算和通信优化相结合，将优化问题简化为凸问题，通过整合计算和通信优化来最小化训练延迟，使用低秩适应技术（LoRA）来减少处理负载，将网络分成客户端子网络和服务器子网络。

本论文的亮点包括提出了一种新的联邦分裂学习框架，将计算和通信优化相结合，提出了一个引理来描述这个问题的精确解，通过模拟实验表明，优化算法平均降低了47.63％的延迟。

在这个领域中，最近的相关研究包括使用联邦学习的语言模型训练，例如“Federated Learning for Natural Language Processing: A Survey”和“Federated Learning with Non-IID Data for Language Model Personalization”。