Transformer 等文本生成主流算法的逐词生成对适合并行计算的 GPU 并不友好，会导致 GPU 利用率低下。并行生成有助于解决这一问题。前不久，字节跳动火山翻译团队的并行生成翻译系统 GLAT 拿下了 WMT2021 De-En/En-De 的双料冠军。为了帮助大家跟进这一成果，火山翻译开源了一个名为 ParaGen 的 Pytorch 深度学习框架，其中包含 GLAT 模型复现和 WMT21 的代码。

代码地址：

https://github.com/bytedance/ParaGen

除了并行生成以外，ParaGen 也支持了多元化的自然语言处理任务，包括自回归翻译、多语言翻译、预训练模型、生成任务、抽取任务、分类任务等，并提供从零复现的代码，帮助刚接触自然语言处理研究的同学更快进入到研究的状态。

 

内容中包含的图片若涉及版权问题，请及时与我们联系删除