Federated Full-Parameter Tuning of Billion-Sized Language Models with Communication Cost under 18 Kilobytes

本文介绍了一种名为FedKSeed的方法，它采用了有限数量的随机种子和零阶优化技术，以显著降低服务器和客户端之间的通信需求，使得在设备上进行十亿级别的LLM联邦全参数微调成为可能。在此基础上，本文还开发了一种策略，实现了概率差异化的种子采样，优先选择对模型准确性影响更大的扰动。在包括六个场景的实验中，使用不同的LLM、数据集和数据分区，结果表明我们的方法在通信效率和新任务泛化方面均优于现有的联邦LLM微调方法。

本论文旨在解决联邦学习中，如何在保护数据隐私的前提下，进行大规模语言模型的fine-tuning问题。同时，该方法也试图提高模型的性能表现。

该论文提出了一种名为FedKSeed的联邦学习方法，采用零阶优化和有限的随机种子，显著降低了服务器和客户端之间的传输要求，使得亿级语言模型的联邦全参数调整成为可能。

该方法在六个不同的场景下进行了实验，使用了不同的语言模型、数据集和数据分区，证明了该方法在通信效率和新任务泛化方面优于现有的联邦学习方法。此外，该论文还提出了一种策略，使得采样随机种子的概率与其对模型准确性的影响成正比。

与此相关的研究包括Federated Learning、Privacy-Preserving Machine Learning、Large Language Models等。