Non-Autoregressive Text Generation with Pre-trained Language Models

这项工作是基于预训练语言模型的非自回归文本生成

非自回归生成法（NAG）因其推理速度快而引起了人们的广泛关注。然而，现有NAG模型的生成质量仍然落后于自回归模型。这项工作证明了BERT可以被用来作为NAG模型的主干，并且能极大地提高性能。

作者设计了一些机制来缓解普通NAG模型的两个常见问题： 1、带前缀的文本输出长度的不灵活性； 2、单个token预测的条件独立性。

最后，为了进一步提高所提模型的速度优势，作者提出了一种新的译码策略：比率优先。适用于输出长度可以预先近似估计的应用。在三个文本生成任务上进行了测试，包括文本摘要、句子压缩和机器翻译。实验结果表明，模型明显优于现有的非自回归基线，并在许多强自回归模型中取得了较好的性能。

这项工作对非自回归模型的研究提出了一种比较新的思路，或能为业界使用非自回归方式进行文本生成打开大门。

内容中包含的图片若涉及版权问题，请及时与我们联系删除