Conditional Diffusion Sampling

如何在密度函数评估次数受限的情况下，对非归一化的多峰分布进行有效采样，仍是机器学习与自然科学领域的一项基础性挑战。目前成功的采样方法通常构建一个连接易处理参考分布与目标分布的“桥梁”。其中，并行退火（Parallel Tempering, PT）被公认为金标准；而近期基于扩散过程的方法则提供了一种连续型替代方案，但需以训练神经网络为代价。本文提出“条件扩散采样”（Conditional Diffusion Sampling, CDS）框架，将上述两种范式有机融合。为此，我们推导出一类称为“条件插值过程”（Conditional Interpolants）的随机过程：其传输动力学由一个精确、闭式表达的随机微分方程（SDE）严格刻画，完全无需借助神经网络进行近似。尽管该动力学要求从一个非平凡的初始分布中采样，但我们既在理论上证明、也在实验中验证：当扩散时间足够短时，这一初始采样的计算开销可显著降低。CDS 正是利用这一特性，采用两阶段策略：（1）首先利用并行退火高效地生成初始分布的样本；（2）再通过前述传输 SDE 将这些样本连续演化至目标分布。这种组合方式，既保留了并行退火强大的全局探索能力，又实现了高效的局部传输。实验结果表明，相较于当前最先进的采样器，CDS 有望在样本质量与密度函数评估开销之间实现更优的权衡。

如何在密度评估次数受限的情况下，高效地从非归一化多峰分布中采样，尤其在机器学习与自然科学中面临全局探索与局部精度难以兼顾的挑战。这是一个长期存在但尚未被充分解决的实际问题，现有方法（如Parallel Tempering或扩散模型）各自存在计算开销大、需神经网络训练或初始化困难等瓶颈。

提出Conditional Diffusion Sampling（CDS）框架，首次将Parallel Tempering（离散温度桥接）与精确可解的条件扩散过程（Conditional Interpolants）结合：推导出无需神经网络近似的闭式SDE，其传输动力学完全解析；通过理论证明和实验验证——当扩散时间足够短时，初始化分布的采样难度急剧下降，从而可由PT高效提供高质量初始样本，再经确定性/随机SDE完成轻量级精炼传输。

理论贡献明确：给出了条件插值过程的严格SDE形式及初始化代价随时间衰减的界；实验在经典多峰基准（如Ring, Funnel, Bayesian Logistic Regression）上对比PT、U-Net diffusion、NUTS等，显示CDS以更少的梯度/密度评估获得更高ESS和更低MMD；未提及其开源代码，但方法设计天然兼容现有PT实现；值得深入的方向包括：自适应选择最优扩散时长、扩展至高维隐变量模型、与基于能量的模型联合优化。

Parallel Tempering (Swendsen & Wang, 1986); Annealed Importance Sampling (Neal, 2001); Score-Based Generative Modeling via SDEs (Song et al., ICML 2021); Denoising Diffusion Implicit Models (DDIM, Song et al., NeurIPS 2021); Flow Matching (Lipman et al., NeurIPS 2022); Conditional Transport (Alvarez-Melis et al., JMLR 2023)