Operator-informed score matching for Markov diffusion models

扩散模型通常使用分数匹配进行训练，但分数匹配对定义模型的特定正向过程是不可知的。本文认为，与其他类型的扩散模型相比，马尔可夫扩散模型具有优势，因为它们的相关算子可以用于改进训练过程。具体而言，（i）正向过程存在显式的形式解作为时间依赖的核均值嵌入的序列；（ii）可以简化分数匹配和相关估计量的推导。基于（i），我们提出了黎曼扩散核平滑方法，该方法改善了神经分数逼近的需要，至少在低维情况下；基于（ii），我们提出了运算符信息分数匹配，这是一种方差缩减技术，在低维和高维扩散建模中都很容易实现，并且在实证概念验证中证明了改进分数匹配的效果。

本论文旨在探讨如何利用马尔可夫扩散模型的相关运算符来提高扩散模型的训练效率，以及如何在低维情况下通过Riemannian扩散核平滑减少神经得分逼近的需求。

本文提出了利用马尔可夫扩散模型的运算符来改进得分匹配和相关估计的方法，并提出了利用Riemannian扩散核平滑来减少神经得分逼近的需求。这两种方法在低维和高维扩散建模中均易于实施，并在实证证明中得到了改进。

本文的亮点在于提出了两种改进扩散模型训练效率的方法，并在实验中进行了验证。其中，利用马尔可夫扩散模型的运算符来改进得分匹配和相关估计的方法在低维和高维扩散建模中均易于实施，并能有效减少训练时间。另外，利用Riemannian扩散核平滑来减少神经得分逼近的需求，能够在低维情况下实现更快的训练速度。

与本文相关的研究包括扩散模型的其他训练方法，如随机微分方程、变分自编码器等。其中，与本文最相关的研究是关于扩散模型的得分匹配方法，如Kernel Score Matching、Stein Score Matching等。