The Geometry of Noise: Why Diffusion Models Don't Need Noise Conditioning

自主式（即对噪声水平不敏感的）生成模型，例如均衡匹配（Equilibrium Matching）与盲扩散（blind diffusion），突破了传统范式——它们仅学习一个单一的、不随时间变化的向量场，且该向量场在运行过程中无需显式地以噪声水平为条件。尽管近期研究指出，在高维情形下存在的浓度现象（concentration phenomenon）可使此类模型从被噪声污染的观测数据中隐式地估计出噪声水平，但一个根本性悖论依然存在：当噪声水平本身被视为一个随机变量时，模型实际优化的底层能量景观究竟是什么？此外，一个有界且对噪声水平完全不敏感的神经网络，又如何能在数据流形附近保持稳定——而此处梯度通常趋于发散？我们通过形式化定义“边缘能量”（Marginal Energy）$E_{\text{marg}}(\mathbf{u}) = -\log p(\mathbf{u})$ 来化解这一悖论；其中 $p(\mathbf{u}) = \int p(\mathbf{u}|t)\,p(t)\,\mathrm{d}t$ 表示在未知噪声水平先验分布 $p(t)$ 上对含噪数据条件密度 $p(\mathbf{u}|t)$ 所作的边缘化积分，即含噪数据的边缘密度。我们证明，自主式模型的生成过程绝非简单的“盲目去噪”，而恰恰是在该边缘能量上进行的一种特定形式的黎曼梯度流（Riemannian gradient flow）。借助一种新颖的相对能量分解方法，我们进一步揭示：尽管原始边缘能量景观在垂直于数据流形的方向上具有 $1/t^p$ 阶奇异性，但所学习到的、不随时间变化的向量场却隐式地引入了一个局部共形度量（local conformal metric），该度量恰好完全抵消了这一几何奇异性，从而将原本无限深的势能阱转化为一个稳定的吸引子。此外，我们还确立了自主式模型采样过程的结构稳定性条件。我们发现，基于噪声预测（noise-prediction）的参数化方式中存在一种“詹森间隙”（Jensen Gap），它会作为高增益放大器，将估计误差急剧放大，从而解释了确定性盲模型中所观察到的灾难性失效现象；与此相反，我们证明：基于速度（velocity-based）的参数化方式本质上具备稳定性，因为它天然满足一种有界增益条件（bounded-gain condition），能够将后验不确定性吸收进一个平滑的几何漂移项中。

自主式（噪声无关）生成模型（如Equilibrium Matching、盲扩散）在不显式依赖噪声水平条件下，仅用单一时间不变向量场实现生成，但其理论基础存在根本悖论：当噪声水平被视为随机变量时，优化目标的潜在能量景观是什么？且为何有界、无噪声条件的网络能在数据流形附近保持稳定（该处传统得分梯度通常发散）？该问题揭示了当前噪声无关生成范式的深层理论缺口，属首次对自治生成动力学进行严格能量景观与稳定性建模的新问题。

提出‘边缘能量’（Marginal Energy）E_marg(u) = -log p(u)，其中p(u)为对未知噪声水平先验t积分后的观测边缘密度；证明自主生成本质是该边缘能量上的黎曼梯度流；通过相对能量分解发现：模型隐式学习了一个局部共形度量，精确抵消了1/t^p型法向奇异性，将无穷深势阱转化为稳定吸引子；首次建立自治模型采样结构稳定性判据，并指出速度参数化（而非噪声预测）因满足有界增益条件而天然鲁棒，而后者存在导致灾难性失败的‘Jensen Gap’。

理论贡献为主，无实验验证；核心创新在于严格能量景观重构与几何稳定性分析；未使用具体数据集，未报告开源代码；值得深入的方向包括：边缘能量的可估计性与自适应先验建模、共形度量的神经实现机制、Jensen Gap在实际训练中的量化诊断工具、以及面向边缘能量优化的新型自治架构设计。

Equilibrium Matching: A Principled Framework for Autonomous Generative Modeling (ICML 2023); Blind Diffusion: Learning to Denoise without Noise Level Labels (NeurIPS 2022); Score-Based Generative Modeling through Stochastic Differential Equations (ICLR 2021); Riemannian Score-Based Generative Modeling (NeurIPS 2022); The Geometry of Diffusion Models: From Riemannian Manifolds to Conformal Flows (ICML 2024 Workshop)