标题：谷歌, 伯克利|Alpa：自动模型并行深度学习，适合所有人的大型模型

简介：Alpa 是一个用于训练和服务巨大机器学习模型的系统。Alpa 使训练和服务像 GPT-3 这样的大型模型变得简单、负担得起、每个人都可以使用。 将神经网络扩展到数千亿参数已经实现了 GPT-3 等重大突破，但训练这些大规模神经网络需要复杂的分布式训练技术。 Alpa 旨在通过几行代码实现大规模分布式训练的自动化。

代码下载：https://github.com/alpa-projects/alpa

论文下载：https://arxiv.org/pdf/2201.12023.pdf

演示地址：https://opt.alpa.ai/