The Future of Large Language Model Pre-training is Federated

生成式预训练大型语言模型（LLMs）已经在各种任务中展现出令人印象深刻的表现，这要归功于它们所接受的前所未有的大量训练数据。根据已经确立的规模定律，LLMs未来的性能提升取决于我们能够利用的计算和数据源的数量。联邦学习（FL）有潜力释放大部分地球上未被充分利用的数据和计算资源，这些资源在当前LLM实践的数据中心集中训练方法中被忽视了。我们的工作提出了一种强大、灵活、可重复的FL方法，可以跨机构进行大规模协作来训练LLMs。这将动员更多的计算和数据资源，同时与中央集中性能相匹配或甚至超越。我们进一步展示了联邦训练的有效性随着模型规模的增加而增加，并介绍了我们使用有限资源训练十亿级联邦LLM的方法。这将帮助数据丰富的参与者成为LLMs预训练的主角，而不是让计算丰富的参与者独自占据舞台。

本论文旨在通过联邦学习（FL）的方法，解决当前大型语言模型（LLMs）训练所面临的数据和计算资源瓶颈问题，以便更好地利用全球范围内的数据和计算资源。

论文提出了一个强大、灵活、可复现的联邦学习方法，旨在通过跨机构的大规模协作来训练LLMs，并展示了联邦训练的有效性随着模型规模的增大而增加的情况。

论文使用了大规模的数据集进行实验，并开源了代码。此外，论文还展示了联邦学习方法在解决LLMs训练中的计算和数据瓶颈方面的潜力，并提出了训练十亿级联邦LLMs的方法。

在相关研究方面，最近的一些研究集中在使用联邦学习来解决隐私问题。例如，题为《Federated Learning with Differential Privacy: Strategies, Challenges and Future Directions》的论文。