The Information Dynamics of Generative Diffusion

生成型扩散模型作为一类强大的机器学习模型已经崭露头角，但对其运行机制的统一理论理解仍在发展中。这篇观点性论文在一个统一的数学框架下，通过将生成型扩散模型的动力学、信息论和热力学特性联系起来，提供了对其的整体视角。我们指出，生成过程中条件熵产生速率（即生成带宽）直接受得分函数矢量场散度的控制。这种散度又与路径的分支结构和生成分岔现象相关，我们将其描述为能量景观中的对称性破缺相变。这种综合观点带来了深刻的洞见：生成过程本质上是由受控的、噪声诱导的（近似）对称性破缺所驱动，信息传递的峰值对应于不同可能结果之间的临界转变。得分函数在此过程中充当了一个动态的非线性滤波器，通过抑制那些与数据不兼容的波动来调节噪声的带宽。

论文试图建立一个统一的数学框架，从动态、信息论和热力学的角度理解生成扩散模型的理论机制，特别是生成过程中熵产生率（即生成带宽）与分数函数散度之间的关系。这个问题属于对扩散模型基础理论的深入探索，是一个较新的研究方向。

论文提出生成过程本质上是通过噪声诱导的对称性破缺（symmetry-breaking）来驱动的，分数函数作为非线性滤波器调节噪声带宽。生成带宽由分数函数矢量场的散度控制，而该散度又与轨迹分支和生成分岔相关，表现为能量景观中的相变。这一观点将扩散模型与物理系统中的相变和信息转移关键点联系起来。

1. 首次将生成扩散模型与热力学、信息论和动力系统理论统一在一个框架下 2. 揭示了生成过程中信息转移高峰与对称性破缺之间的关系 3. 提出了生成带宽的概念，并与分数函数散度建立直接联系 4. 实验部分通过可视化能量景观和轨迹分支验证了理论推导 5. 为未来模型设计提供了新的视角，例如通过控制对称性破缺来调节生成质量

1. Deep Unsupervised Learning using Nonequilibrium Thermodynamics (2015) 2. Score-Based Generative Modeling through Stochastic Differential Equations (2021) 3. Information Flows in Neural Networks (2022) 4. Symmetry Breaking in Machine Learning (2023) 5. Thermodynamics of Learning and Information Geometry in Neural Networks (2024)