Convergence Analysis of Probability Flow ODE for Score-based Generative Models

基于分数的生成模型已经成为采样高维概率分布的强有力方法。尽管它们非常有效，但它们的理论基础仍然相对不充分。在这项工作中，我们从理论和数值的角度研究了基于概率流ODE的确定性采样器的收敛性质。假设可以访问$L^2$-准确的分数函数估计，我们证明了在连续时间级别上，目标分布与生成的数据分布之间的总变差可以被上界$\mathcal{O}(d\sqrt{\delta})$所限制，其中$d$表示数据维度，$\delta$表示$L^2$分数匹配误差。对于使用步长为$h$的$p$阶Runge-Kutta积分器的实际实现，我们建立了误差界限为$\mathcal{O}(d(\sqrt{\delta} + (dh)^p))$的离散级别。最后，我们对高达128维的问题进行了数值研究，以验证我们的理论，结果表明分数匹配误差和维度依赖性更好。

研究基于分数的生成模型的收敛性质，尤其是概率流ODE的确定性采样器的收敛性质。

证明了在连续时间级别和离散时间级别上，使用概率流ODE的确定性采样器可以通过$L^2$-score matching error来控制目标分布和生成数据分布之间的总变异度。

论文通过实验验证了理论结果，表明该方法在高维问题上的表现更好。

最近的相关研究包括使用GANs和VAEs等方法进行分数生成模型的研究，如《Generative Adversarial Nets》和《Auto-Encoding Variational Bayes》。