Score-based generative models are provably robust: an uncertainty quantification perspective

通过不确定性量化的角度，我们展示了基于分数的生成模型（SGMs）在实际实现中对多种误差的鲁棒性是可以证明的。我们的主要工具是Wasserstein不确定性传播（WUP）定理，这是一个模型形式的不确定性量化边界，描述了在Fokker-Planck方程的演化下，从学习分数函数的$L^2$误差如何传播到真实数据分布周围的Wasserstein-1（$\mathbf{d}_1$）球。我们展示了由于有限样本逼近、提前停止、分数匹配目标选择、分数函数参数化表达能力和参考分布选择等因素引起的误差如何影响可计算量的$\mathbf{d}_1$边界方面的生成模型的质量。WUP定理依赖于Hamilton-Jacobi-Bellman偏微分方程的Bernstein估计和扩散过程的正则性质。具体而言，PDE正则性理论表明，随机性是确保SGM算法可证明鲁棒性的关键机制。WUP定理适用于超出$\mathbf{d}_1$的积分概率度量，如总变差距离和最大平均偏差。样本复杂度和$\mathbf{d}_1$的泛化边界直接来自WUP定理。我们的方法需要最少的假设，对流形假设是不可知的，并避免了对目标分布的绝对连续性假设。此外，我们的结果阐明了SGMs中多种误差来源之间的权衡。

论文旨在从不确定性量化（UQ）的角度，证明基于分数的生成模型（SGMs）在实际实现中是可靠的，并且具有对多个误差来源的容错性。

论文的关键思路是使用Wasserstein不确定性传播（WUP）定理来描述学习分数函数的$L^2$误差如何在Fokker-Planck方程的演变下传播到真实数据分布周围的Wasserstein-1（d1）球。WUP定理依赖于Hamilton-Jacobi-Bellman偏微分方程的Bernstein估计和扩散过程的正则化属性，通过PDE正则化理论表明随机性是确保SGM算法可靠性的关键机制。

论文的亮点在于，它适用于超出d1范数的积分概率度量，例如总变分距离和最大平均差异。通过WUP定理，可以直接得到d1中的样本复杂度和泛化界限。论文的方法需要最少的假设，对流形假设不敏感，并避免了目标分布的绝对连续性假设。

最近的相关研究包括：'Implicit Regularization in Generative Models: A Review'，'Wasserstein Dependency Measure for Representation Learning'，'A theoretical analysis of contrastive unsupervised representation learning'等。