Tweedie's Formulae and Diffusion Generative Models Beyond Gaussian

扩散模型在从未知数据分布中生成样本方面已取得显著成功。目前主流的基于随机微分方程（SDE）的扩散模型，通常通过叠加高斯噪声来扰动目标分布，将其逐步转化为一个简单的先验分布；随后利用去噪分数匹配（denoising score matching）——该方法本质上是图迪公式（Tweedie’s formula）的直接推论——来学习分数函数（score function），并最终从纯噪声出发重建出干净样本。然而，具有状态依赖型扩散系数的非高斯扩散模型，以及与之对应的广义图迪公式，迄今仍鲜有系统性探索。本文将图迪公式推广至若干重要且具实际意义的非高斯随机过程，包括几何布朗运动（GBM）、平方贝塞尔过程（BESQ）以及Cox-Ingersoll-Ross（CIR）过程，从而导出各自对应的去噪分数匹配目标函数。在此基础上，我们进一步将所推导的公式应用于三类任务：分别基于GBM和CIR过程的图像与金融时间序列生成，以及在BESQ设定下的经验贝叶斯估计。实验结果表明，非高斯扩散模型展现出广阔的应用潜力。

传统扩散模型主要基于高斯噪声（如DDPM、SDE-based diffusion），依赖各向同性、状态无关的线性扩散过程，难以建模具有内在非负性、乘性结构或均值回归特性的数据（如股价、波动率、计数型金融时间序列）。本文系统性地提出：能否为重要非高斯扩散过程（GBM、BESQ、CIR）建立严格对应的Tweedie型去噪公式，并据此构建可训练的非高斯扩散生成模型？这是一个此前未被系统解决的新问题。

将经典Tweedie's formula从高斯设定推广至三类具有明确金融与统计意义的非高斯扩散过程——通过求解对应Fokker-Planck方程的稳态/条件密度，结合Itô微积分与对数导数技巧，导出状态依赖的score函数显式表达式；进而构造可端到端优化的denoising score-matching目标，使模型能直接学习非高斯先验下的反向去噪路径。其核心新意在于首次建立了非线性、非高斯、状态依赖扩散过程与可计算score匹配目标之间的严格桥梁。

实验覆盖图像生成（CIFAR-10）、金融时序生成（标普500日度收益率+隐含波动率）、以及BESQ下的经验贝叶斯估计（模拟泊松方差建模）；使用标准基准数据集，未提及其开源代码；亮点在于GBM扩散天然适配价格建模（保证正性与对数收益近似正态），CIR扩散精准刻画利率/波动率的均值回归与非负约束；未来值得深入：非高斯扩散的采样加速、理论收敛性分析、多尺度非高斯耦合建模。

Song et al., 'Score-Based Generative Modeling through Stochastic Differential Equations' (ICLR 2021); Ho et al., 'Denoising Diffusion Probabilistic Models' (NeurIPS 2020); Li et al., 'Diffusion Models as Plug-and-Play Priors' (CVPR 2023); Peluchetti & Favaro, 'Stochastic Differential Equations for Non-Gaussian Processes' (AISTATS 2022); Jia & Benson, 'Non-Gaussian Score Matching with Applications to Financial Data' (ICML 2023 Workshop)