Promises, Outlooks and Challenges of Diffusion Language Modeling

现代自回归大型语言模型（LLM）在自然语言处理基准测试中取得了出色的表现，并已经在现实世界中得到了应用。然而，它们仍然受到自回归训练模式的限制。例如，自回归标记生成明显较慢，容易出现“曝光偏差”。扩散式语言模型被提出作为自回归生成的替代方案，以解决其中的一些限制。我们评估了最近提出的分数熵离散扩散（SEDD）方法，并表明它是自回归生成的一种有前途的替代方案，但它也有一些缺点。我们通过实证展示了SEDD的优点和挑战，并观察到SEDD通常与自回归模型在困惑度和HellaSwag、Arc或WinoGrande等基准测试上相匹配。此外，我们展示了在推理延迟方面，SEDD可以比GPT-2高达4.5倍的效率更高。虽然SEDD允许在任意位置上进行标记条件，但在给定短提示的条件生成方面，SEDD似乎略逊于GPT-2。最后，我们重现了原始SEDD论文的主要结果。

SEDD是一种替代自回归生成的扩散式语言模型，论文旨在评估SEDD作为自回归生成的替代方案的优势和挑战。

SEDD使用分数熵离散扩散方法进行条件生成，可以比GPT-2更高效地进行推理，但在短提示条件下略逊于GPT-2。

论文通过实验证明SEDD在困惑度等基准测试上与自回归模型相当，但可以比GPT-2更高效地进行推理；SEDD可以在任意位置上进行条件生成；论文还复现了原始SEDD论文的主要结果。

近期的相关研究包括使用扩散模型进行自回归生成的其他方法，如DDPM和Diffusion Transformer等。