A Unified Approach to Analysis and Design of Denoising Markov Models

基于测度传输的生成模型，例如扩散模型和基于流的模型，通常用马尔可夫随机动力学的语言来描述，其中底层过程的选择会影响算法设计和理论分析。在本文中，我们旨在为去噪马尔可夫模型（一类广泛的生成模型）建立严格的数学基础。这类模型假设一个前向过程，将目标分布转化为一个简单且易于采样的分布，并伴随一个特别构造的后向过程，以实现反向高效采样。通过利用与非平衡统计力学以及广义杜布 $h$-变换的深刻联系，我们提出了一组最小假设，确保以下几点：(1) 后向生成器的显式构造；(2) 一个统一的变分目标函数，直接最小化测度传输差异；(3) 在不同动力学条件下对经典得分匹配方法的扩展。我们的框架统一了连续和离散扩散模型的现有表述，在前向生成器满足某些正则性假设的情况下识别出最一般的去噪马尔可夫模型形式，并提供了一个系统的设计方案，用于构建由任意莱维型过程驱动的去噪马尔可夫模型。我们通过引入基于几何布朗运动和跳跃过程作为前向动力学的新型去噪马尔可夫模型，展示了该方法的灵活性和实际有效性，突出了该框架在建模复杂分布时的潜力和能力。

该论文试图解决如何为基于测度传输的概率生成模型（如扩散模型和流模型）建立一个统一的数学框架问题。具体来说，它关注于设计一种通用的方法来构建反向过程，以实现从简单分布到复杂目标分布的有效采样。这是一个在生成模型领域中较为新颖的问题，尤其是在探索非布朗运动驱动的前向过程方面。

论文提出了一种基于非平衡统计力学和广义Doob's $h$-变换的框架，用于构造反向生成器，并提供了一个统一的变分目标以最小化测度传输差异。此外，该方法能够将经典的分数匹配技术扩展到不同的动力学系统中。相比现有研究，这篇论文的核心创新在于其适用于任意Lévy型过程的灵活性，从而超越了传统高斯扩散模型的限制。

1. 提出了一个通用框架，可以涵盖连续和离散扩散模型；2. 明确推导了反向生成器的构造条件，并提供了理论保证；3. 展示了几何布朗运动和跳跃过程作为前向动态的应用实例；4. 论文未提及实验数据集或开源代码，但强调了理论结果的普适性以及对未来复杂分布建模的潜力。值得进一步研究的方向包括：如何结合特定应用优化框架、验证实际性能以及探索更多非高斯噪声驱动的过程。

近期相关工作包括：1. 「Score-Based Generative Modeling through Stochastic Differential Equations」，探讨了基于分数的生成模型与随机微分方程的关系；2. 「Denoising Diffusion Probabilistic Models」，提出了经典的扩散模型及其训练方法；3. 「Generative Modeling by Estimating Gradients of the Data Distribution」，研究了通过估计梯度进行生成建模的技术；4. 「Non-Reversible Parallel Tempering for Deep Generative Models」，讨论了非可逆马尔可夫链在生成任务中的应用。