AR-Diffusion: Auto-Regressive Diffusion Model for Text Generation

解决问题：本篇论文旨在解决文本生成中的序列依赖问题，提出了一种基于自回归扩散模型的自动回归扩散模型（AR-Diffusion）。该模型通过动态的去噪步骤数来实现左边的标记生成对右边标记生成的影响，从而更好地处理自然语言的序列依赖性。

关键思路：本文提出的AR-Diffusion模型通过自回归扩散的方式来解决文本生成中的序列依赖问题，通过动态的去噪步骤数来实现左边标记生成对右边标记生成的影响，从而更好地处理自然语言的序列依赖性。相比当前领域的研究，该模型具有更好地处理序列依赖性的特点。

其他亮点：本文通过实验验证了AR-Diffusion模型在文本生成任务中的优越性，并且在速度上比现有的扩散语言模型快100倍到600倍。同时，作者将代码公开发布，值得进一步研究。

关于作者：本文的主要作者分别来自微软亚洲研究院和清华大学，他们之前的代表作包括《GPT》、《BERT》等自然语言处理领域的经典模型。

相关研究：近期其他相关的研究包括《DALL·E: Creating Images from Text》（OpenAI）、《Generative Pretraining Transformers》（OpenAI）等。

论文摘要：AR-Diffusion：自回归扩散模型用于文本生成 吴彤，范志豪，刘晓，龚冶云，申晔龙，焦健，郑海涛，李俊涛，魏中宇，郭健，段楠，陈伟铸 扩散模型在图像生成领域表现出了出色的性能，因此受到了广泛关注。最近，由于扩散模型可以同时生成序列中的所有标记，因此它们的成功也扩展到了文本生成领域。然而，与图像相比，自然语言展现出更为明显的顺序依赖性，大多数现有的语言模型都是使用从左到右的自回归方法进行训练。为了考虑到自然语言的固有顺序特性，我们引入了自回归扩散（AR-Diffusion）。AR-Diffusion确保右侧标记的生成取决于左侧生成的标记，这是通过采用动态数量的去噪步骤来实现的，这些步骤根据标记位置而变化。这导致左侧的标记经历的去噪步骤比右侧的标记少，从而使它们更早地生成，并随后影响右侧标记的生成。在各种文本生成任务（包括文本摘要、机器翻译和常识生成）的一系列实验中，AR-Diffusion明显展示了其优越性，而且在达到相似结果时可以比现有的扩散语言模型快100倍到600倍。我们的代码将公开发布。

内容中包含的图片若涉及版权问题，请及时与我们联系删除