标题：Meta|Efficient Large Scale Language Modeling with Mixtures of Experts（混合专家的高效大规模语言建模）

作者：Mikel Artetxe, Ves Stoyanov等

简介：本文介绍了稀疏语言模型的优点。专家层 (MoE) 的混合通过条件计算实现语言模型的有效扩展。 本文提出了一个关于自回归 MoE 语言模型在各种设置中与密集模型相比如何扩展的详细实证研究：域内和域外语言建模、零样本和少样本启动以及完全微调。 除了微调，作者发现MoE的计算量要大得多高效的。 在更适度的训练预算下，MoE 可以与密集的性能相媲美模型使用的计算量减少了约 4 倍。 这个差距规模缩小，但作者最大的MoE模型（1.1T 参数）始终优于计算等效密集模型（6.7B 参数）。 总体而言，这种性能差距各不相同大大跨任务和领域，建议MoE和密集模型以不同的方式泛化，值得未来研究。

代码下载：https://github.com/pytorch/fairseq/tree/main/examples/moe_lm

论文地址：https://arxiv.org/pdf/2112.10684.pdf

内容中包含的图片若涉及版权问题，请及时与我们联系删除