Convergence of Continuous Normalizing Flows for Learning Probability Distributions

连续正态流（CNFs）是一种基于常微分方程的生成方法，用于学习概率分布。该方法在各种应用中表现出了显著的实证成功，包括大规模图像合成、蛋白质结构预测和分子生成。在本文中，我们研究了使用流匹配目标函数和线性插值从有限随机样本中学习概率分布的CNFs的理论性质。我们针对Wasserstein-2距离建立了CNFs分布估计器的非渐近误差界限。我们分析的关键假设是目标分布满足以下三个条件之一：它具有有界支撑、强对数凹性或是有限或无限高斯分布的混合物。我们提出了一个收敛分析框架，包括由于速度估计、离散化误差和提前停止误差而产生的误差。我们分析的关键步骤涉及建立速度场及其估计器的正则性质，这需要开发具有Lipschitz正则性控制的深度ReLU网络的统一误差界限，这可能具有独立的兴趣。我们的非参数收敛分析为使用CNFs从有限随机样本中学习概率分布提供了理论保证。

该论文旨在研究基于普通微分方程的连续归一化流在有限随机样本中学习概率分布的理论性质，以及建立非渐近误差界限。

该论文的关键思路是使用基于普通微分方程的连续归一化流，通过流匹配目标函数来学习概率分布，并且建立了非渐近误差界限，以Wasserstein-2距离为度量标准。

该论文的亮点包括建立了基于普通微分方程的连续归一化流的非参数收敛分析框架，提出了估计速度场及其估计器的正则性属性，以及使用深度ReLU网络近似Lipschitz函数类的均匀误差界限。实验设计中使用了大规模图像合成、蛋白质结构预测和分子生成等应用，提供了理论保证。

最近的相关研究包括基于变分自编码器的生成模型、基于生成对抗网络的生成模型、基于自回归模型的生成模型等。