标题：EleutherAI｜GPT-NeoX-20B: An Open-Source Autoregressive Language Model（GPT-NeoX-20B：开源自回归语言模型）

作者：Sid Black, Stella Biderman, Eric Hallahan等

简介：本文介绍了一个自回归语言模型训练框架。GPT-NeoX-20B是一个200亿参数的自回归语言模型，其权重通过许可免费和公开地提供给公众。这是，据我们所知，具有公开可用权重的最大密集自回归模型。在本文中，作者描述模型架构和训练，评估其性能，并讨论它的发布更广泛的影响。

代码下载：https://github.com/EleutherAI/gpt-neox

论文下载：http://transformers.science/rct/articles/Black%20et%20al.%20-%202022%20-%20GPT-NeoX-20B%20An%20Open-Source%20Autoregressive%20Language%20Model.pdf

内容中包含的图片若涉及版权问题，请及时与我们联系删除