Diffusion Forcing: Next-token Prediction Meets Full-Sequence Diffusion

本文提出了一种新的训练范式——扩散强制（Diffusion Forcing），其中扩散模型通过训练来去噪一组具有独立每个标记噪声水平的标记。我们将扩散强制应用于序列生成建模，通过训练因果下一个标记预测模型来生成一个或多个未来标记，而不是完全扩散过去的标记。我们的方法展示了下一个标记预测模型的优点，如可变长度的生成，以及完整序列扩散模型的优点，如指导采样到理想的轨迹。我们的方法提供了一系列额外的功能，例如（1）滚动输出连续标记序列，如视频，长度超过训练范围，基线发散，以及（2）独特受益于扩散强制的可变地平线和因果架构的新的采样和指导方案，这些方案在决策和规划任务中导致了明显的性能提升。除了实证成功之外，我们的方法被证明优化了从真实联合分布中绘制的所有子序列的似然的变分下限。项目网站：https://boyuan.space/diffusion-forcing。

本论文旨在通过Diffusion Forcing训练范式，解决序列生成模型中的两个问题：可变长度生成和指导采样到理想轨迹。

本论文提出了Diffusion Forcing训练范式，通过训练扩散模型来去噪一组具有独立每个令牌噪声水平的标记。然后，我们将Diffusion Forcing应用于序列生成建模，通过训练因果下一个标记预测模型，生成一个或多个未来标记，而不完全扩散过去的标记。Diffusion Forcing的变量长度和因果体系结构的优势结合起来，提供了一系列额外的功能，如（1）滚动出连续令牌序列（如视频），长度超过训练视野，其中基线发散，以及（2）新的采样和指导方案，独特地从Diffusion Forcing的变量视野和因果体系结构中获益，这导致在决策制定和规划任务中取得了显着的性能提升。

本论文的实验结果表明，Diffusion Forcing训练范式在决策制定和规划任务中取得了显着的性能提升，并证明了优化真实联合分布中所有子序列的似然的变分下界。此外，论文还提供了一个项目网站，包括数据集和开源代码。

在这个领域中的相关研究包括PixelCNN、PixelRNN、MADE、WaveNet等。