Diffusion models for Gaussian distributions: Exact solutions and Wasserstein errors

最近，扩散或基于分数的模型在图像生成方面表现出高性能。它们依赖于正向和反向随机微分方程（SDE）。通过数值求解反向SDE或其相关的流ODE，可以实现数据分布的采样。研究这些模型的收敛性需要控制四种不同类型的误差：初始化误差、截断误差、离散化误差和分数逼近误差。本文在数据分布为高斯分布的限制框架下，理论上研究了扩散模型及其数值实现的行为。在这种情况下，得分函数是一个线性算子，我们可以推导出正向和反向SDE以及相关的流ODE的解析解。这为各种Wasserstein误差提供了精确表达式，使我们能够比较每种误差类型对于任何采样方案的影响，从而直接在数据空间监测收敛，而不是依赖于Inception特征。我们的实验表明，扩散模型文献中推荐的数值方案也是高斯分布的最佳采样方案。

论文旨在研究扩散模型在图像生成中的应用，解决的问题是如何控制四种不同类型的误差来监控模型收敛性。

论文中提出了一种针对高斯分布的扩散模型，通过求解正向和反向随机微分方程及其相关的流动ODE来实现数据分布的采样，从而得到各种Wasserstein误差的精确表达式，进而比较每种误差类型对任何采样方案的影响，从而实现直接在数据空间中监控收敛性。

实验结果表明，推荐的扩散模型数值方案也是高斯分布的最佳采样方案。论文提供了精确的误差控制方案，避免了依赖Inception特征的情况，同时提供了解决高斯分布采样问题的新思路。

近期在图像生成领域的相关研究包括GAN、VAE、PixelCNN等。