A Survey on Diffusion Language Models

扩散语言模型（Diffusion Language Models，简称DLMs）正迅速成为一种强大且具有前景的替代方案，挑战着目前占主导地位的自回归（AR）范式。通过在迭代去噪过程中并行生成标记（tokens），DLMs在降低推理延迟和捕捉双向上下文方面具有固有优势，从而实现对生成过程的细粒度控制。在实现数倍提速的同时，最近的进展使得DLMs的表现已能与自回归模型相媲美，使其成为众多自然语言处理任务中一个极具吸引力的选择。 在本综述中，我们对当前DLM的发展格局进行了全面概述。我们追溯了该领域的发展历程及其与其他范式（如自回归模型和掩码语言模型）之间的关系，并涵盖了基础理论和最先进模型的内容。我们的工作提供了一个最新且全面的分类体系，并对当前各类技术进行了深入分析，涵盖了从预训练策略到高级后训练方法的各个方面。此外，本综述的另一大贡献是对DLM推理策略与优化方法的详尽回顾，包括解码并行性、缓存机制以及生成质量方面的改进。 我们还重点介绍了DLM在多模态扩展方面的最新方法，并详细说明了它们在各种实际场景中的应用。此外，我们的讨论还指出了DLM目前存在的局限性和挑战，包括效率问题、长序列处理以及基础设施需求等方面，并在此基础上展望了未来的研究方向，以推动这一快速发展的领域持续进步。本项目的GitHub地址为：https://github.com/VILA-Lab/Awesome-DLMs。

论文旨在探索和总结扩散语言模型（DLMs）作为传统自回归（AR）模型的替代方案的发展现状与潜力。它试图验证DLMs是否能够在生成质量、推理速度和双向上下文建模等方面与AR模型竞争，并解决DLMs在效率、长序列处理和基础设施需求方面的挑战。

论文的核心思路是通过系统性综述的方式，梳理DLMs的发展脉络，分析其与自回归模型和掩码语言模型的关系，总结其基础原理、训练策略、推理优化、多模态扩展及应用场景。相比以往研究，本文首次提供了对DLMs的全面分类、技术分析和未来方向展望。

1. 提供了最新的DLMs分类体系和技术综述 2. 涵盖了从预训练策略到后训练优化的完整技术栈 3. 详细分析了DLMs的推理加速策略，如并行解码与缓存机制 4. 讨论了DLMs在多模态任务中的扩展应用 5. 指出了DLMs面临的挑战与未来研究方向 6. 附有开源项目GitHub链接，便于后续研究复现与拓展

1. Denoising Diffusion Probabilistic Models (DDPM) 2. BERT: Pre-training of Deep Bidirectional Transformers 3. Diffusion Models Beat GANs on Image Synthesis 4. Flow Matching for Text Generation 5. Parallel WaveNet: Fast Waveform Generation for Text-to-Speech 6. Mask-Predict: Parallel Decoding of Transformers