Is Your Conditional Diffusion Model Actually Denoising?

我们研究了带有条件变量的扩散模型的归纳偏置，这类模型已被广泛应用于文本条件生成图像模型以及观测条件连续控制策略中。我们发现，当以条件方式调用这些模型时，其生成结果持续偏离扩散模型理论基础中理想的“去噪”过程，从而导致主流采样算法（例如 DDPM、DDIM）之间出现不一致。为此，我们提出了“调度偏差”（Schedule Deviation）这一严谨的度量指标，用于刻画偏离标准去噪过程的程度，并提供了计算该指标的方法。关键的是，我们证明这种对理想化去噪过程的偏离，无论模型容量大小或训练数据多少，都会发生。我们认为，该现象源于在条件空间的不同区域之间难以衔接各自的去噪流，并从理论上阐明了这种现象如何因模型倾向于平滑性的归纳偏置而产生。

论文研究了带条件变量的扩散模型（如文本生成图像或观测条件下的连续控制策略）在条件采样时的行为偏差问题。尽管这些模型基于理想的‘去噪’过程进行建模，但在实际条件查询中，其生成结果会系统性地偏离该理想过程，并导致不同采样算法（如DDPM与DDIM）之间产生不一致的结果。这一现象表明，当前扩散模型的理论基础与其实际行为之间存在根本性脱节，且该问题并非由模型容量或训练数据不足引起，因此是一个尚未被充分认识的新问题。

作者提出了“调度偏差”（Schedule Deviation）这一严格度量，用于量化扩散模型在条件采样过程中偏离标准去噪路径的程度。他们发现这种偏差是普遍存在的，并归因于模型在不同条件区域间难以对齐去噪流形的问题。进一步地，论文从理论上论证了这种现象源于模型对平滑性的归纳偏置——即模型倾向于在条件空间中学习平滑的过渡函数，从而牺牲了局部精确的去噪动态。这一解释为理解条件扩散模型的行为提供了新的理论视角。

论文设计了一套可计算调度偏差的方法，并在多种典型条件扩散模型上验证了其普遍存在性；实验覆盖图像生成和强化学习中的控制策略等场景，证明该现象跨领域存在。虽然文中未明确提及是否开源代码，但其方法具有良好的可复现性。一个重要的后续方向是设计能够显式校正调度偏差的采样算法，或构建更具局部灵活性的条件建模范式以缓解平滑性偏置带来的影响。

1. Denoising Diffusion Probabilistic Models (DDPM) 2. Denoising Diffusion Implicit Models (DDIM) 3. Score-Based Generative Modeling through Stochastic Differential Equations 4. Classifier-Free Diffusion Guidance 5. Flow Matching for Generative Modeling 6. On the Limitations of Stochastic Parity in Diffusion Models