Block Diffusion: Interpolating Between Autoregressive and Diffusion Language Models

扩散语言模型因其在并行生成和可控性方面的潜力，提供了独特的优势，但在似然性建模方面表现较弱，并且受限于固定长度的生成。在本工作中，我们引入了一类块扩散语言模型，这类模型介于离散去噪扩散模型和自回归模型之间。块扩散通过支持灵活长度的生成，并结合键值缓存（KV caching）和并行标记采样来提高推理效率，从而克服了这两种方法的关键限制。我们提出了一种构建有效块扩散模型的方法，其中包括高效的训练算法、梯度方差估计器以及数据驱动的噪声调度方案，以最小化方差。块扩散在语言建模基准测试中，为扩散模型树立了新的性能标杆，并能够生成任意长度的序列。我们在项目页面上提供了代码、模型权重以及博客文章：https://m-arriola.com/bd3lms/

该论文试图解决扩散模型在自然语言处理任务中的两大关键限制：1）固定长度生成的局限性；2）在推理效率和似然估计方面相较于自回归模型的不足。这并非一个全新的问题，但它是对现有扩散模型研究的一个重要改进方向。

论文提出了一种名为'块扩散（Block Diffusion）'的新方法，通过插值离散去噪扩散与自回归模型，实现了灵活长度生成的能力。这种方法结合了KV缓存和并行采样技术以提升推理效率，并引入了高效训练算法、梯度方差估计器以及数据驱动的噪声调度策略来最小化方差。相比传统扩散模型，这一思路显著增强了模型的灵活性和性能。

1）块扩散模型在语言建模基准测试中达到了扩散模型中的新SOTA性能；2）支持任意长度序列生成，突破了传统扩散模型的固定长度限制；3）提供了开源代码、预训练权重及详细的项目博客，便于复现和进一步研究；4）实验设计涵盖了多种语言任务，验证了模型的泛化能力，未来可以探索更多应用场景如对话系统或代码生成。

相关研究包括：1）《Denoising Diffusion Probabilistic Models》提出了经典的扩散模型框架；2）《MaskGIT: Masked Generative Imputation Transformers for Image Synthesis》将扩散思想应用于图像生成；3）《Diffusion-LM Improves Controllable Text Generation》探讨了扩散模型在可控文本生成中的应用；4）《Autoregressive Diffusion Models》尝试结合自回归机制与扩散模型。这些工作共同构成了扩散模型在NLP领域的理论基础和技术积累。