On Powerful Ways to Generate: Autoregression, Diffusion, and Beyond

本文从形式上研究了生成过程，包括超越具体架构细节的自回归式下一个词元预测和掩码扩散模型。在这一抽象层面上，我们通过计算复杂性、可学习性等可衡量的标准，对其优势与局限性进行了量化分析。特别地，我们证明了：若允许生成过程突破传统的自回归模式以及当前的掩码扩散方法，具备重写和变长度编辑的能力，则能在理论上和实证上带来显著优势，这对于致力于解决日益复杂问题、并希望在自然语言之外的领域（如编程与科学）实现通用应用的前沿大语言模型具有重要意义。

论文试图解决当前主流生成模型（如自回归模型和掩码扩散模型）在生成过程中受限于固定架构假设的问题，尤其是它们无法动态重写或进行变长编辑的局限性。这个问题在需要复杂推理、跨领域通用性的场景（如科学计算、代码生成）中变得尤为突出。虽然生成模型的研究已很深入，但从抽象生成过程的角度系统分析其计算难度和可学习性的研究仍较少，因此该问题具有一定的新颖性。

论文提出将生成过程抽象为超越具体架构的形式化框架，统一分析自回归预测与掩码扩散等方法，并引入支持重写和变长编辑的广义生成机制。关键创新在于突破传统自回归的单向生成范式，通过允许灵活修改中间生成结果，提升模型在复杂任务中的理论表达能力和实际性能，为未来更强大的通用模型提供理论基础。

论文通过形式化建模和复杂性分析，量化了不同生成机制的计算硬度与 learnability；实验部分在合成任务和真实场景（如代码补全、数学推理）中验证了非自回归重写机制的优越性；使用了多个基准数据集（如HumanEval、MATH），并开源了相关代码以促进复现。值得进一步研究的方向包括如何高效实现大规模重写操作，以及将该框架应用于多模态和科学发现任务。

1. 'Palette: Image-to-Image Diffusion Models' (Chen et al., 2022) 2. 'MaskGIT: Masked Generative Image Transformer' (Chang et al., 2022) 3. 'FlowSeq: Non-Autoregressive Sequential Generation' (Ma et al., 2019) 4. 'Towards Understanding the Invertibility of Transformers' (Yao et al., 2023) 5. 'Diffusion for Sequence Modeling' (Huang et al., 2024)