The Principles of Diffusion Models

本专著阐述了指导扩散模型发展的核心原理，追溯其源头，并展示不同形式的模型如何源于共同的数学思想。扩散建模始于定义一个前向过程，该过程逐步将数据转化为噪声，通过一系列中间分布将数据分布与一个简单的先验分布联系起来。目标是学习一个逆向过程，将噪声还原为数据，同时恢复相同的中间状态。我们描述了三种互补的视角：变分视角受变分自编码器启发，将扩散视为逐步学习去噪的过程；基于得分的视角源于能量模型，学习数据分布在演化过程中的梯度，指明如何将样本推向更可能的区域；基于流的视角与归一化流相关，将生成过程视为在学习得到的速度场引导下，沿着平滑路径将样本从噪声变换到数据。这些视角共享一个共同的核心结构：一个依赖时间的速度场，其对应的流将简单先验分布传输至数据分布。因此，采样过程等价于求解一个微分方程，使噪声沿连续轨迹演化为数据。在此基础上，本专著进一步探讨了可控生成的引导方法、高效的数值求解器，以及受扩散模型启发的流映射模型——后者学习任意时刻之间的直接映射。本书为具备基础深度学习知识的读者提供了对扩散模型在概念上清晰且数学上严谨的理解。

论文试图解决的问题是如何统一理解扩散模型的核心原理，并揭示其不同变体（如基于分数、变分和流的视角）之间的内在联系。这个问题在扩散模型快速发展但理论框架分散的背景下尤为重要，虽然不是全新的问题，但系统性地整合这些观点具有重要价值。

论文的关键思路是提出扩散模型的三种互补视角——变分视角、基于分数的视角和基于流的视角——都源于一个共同的数学结构：通过一个时间依赖的速度场，将简单先验分布连续地映射到数据分布。生成过程被统一为求解一条从噪声到数据的微分方程轨迹。这一思想为扩散模型提供了统一的概念与数学框架。

论文提供了对扩散模型深刻而简洁的理论洞察，强调了生成建模中连续变换的本质。实验部分虽非重点，但通过理论推导展示了各类方法的等价性。未涉及具体数据集或代码实现，但为后续研究提供了清晰的理论基础。值得深入的方向包括更高效的求解器设计、可控生成机制的扩展，以及基于该统一视角的新架构开发。

1. Denoising Diffusion Probabilistic Models 2. Score-Based Generative Modeling through Stochastic Differential Equations 3. Improved Denoising Diffusion Probabilistic Models 4. Flow Matching for Generative Modeling 5. Analytic-DPM: Analytic Solutions of Diffusion Models for Accelerated Sampling