Diffusion models for Gaussian distributions: Exact solutions and Wasserstein errors

最近，扩散模型或基于分数的模型在图像生成方面表现出高性能。它们依赖于前向和后向随机微分方程（SDE）。通过数值解决反向SDE或其相关流动ODE，可以实现对数据分布的采样。研究这些模型的收敛性需要控制四种不同类型的误差：初始化误差、截断误差、离散化误差和分数逼近误差。本文在数据分布为高斯分布的限制框架下，理论上研究了扩散模型及其数值实现的行为。在这种限制下，得到了前向和后向SDE的解析解以及相关的流动ODE的解析解。这为各种Wasserstein误差提供了精确的表达式，使我们能够比较每种误差类型对于任何采样方案的影响，从而允许直接在数据空间监控收敛性，而不是依赖于Inception特征。我们的实验表明，扩散模型文献中推荐的数值方案也是高斯分布的最佳采样方案。

本文旨在研究扩散模型在图像生成中的应用，特别是在数据分布为高斯分布时的表现。研究的问题是如何控制四种不同类型的误差，以便在数据空间中直接监测收敛性。

本文研究了扩散模型及其数值实现，当数据分布为高斯分布时，可以推导出正向和反向SDE以及相关的流ODE的解析解，从而提供了各种Wasserstein误差的精确表达式，使我们能够比较每种误差类型对任何采样方案的影响，从而直接监测收敛性。

本文实验表明，推荐的扩散模型数值方案也是高斯分布的最佳采样方案。

最近的相关研究包括：Diffusion Probabilistic Models，Score-Based Generative Modeling through Stochastic Differential Equations，Generative Modeling by Estimating Gradients of the Data Distribution。