Nonequilbrium physics of generative diffusion models

生成扩散模型将物理学中的朗之万动力学概念应用于机器学习，引起了工业应用的广泛关注，但对其内在机制的完整理解仍然缺乏。本文通过透明的物理学分析，推导出了涨落定理、熵产生、弗兰茨-帕里西势函数，以理解最近发现的内在相变。我们的分析根植于非平衡物理学和平衡物理学的概念，即将正向和反向动力学都视为朗之万动力学，并将反向扩散生成过程视为统计推断，其中，时变的状态变量作为自旋玻璃理论中研究的淬火无序。这个统一的原则有望指导机器学习从业者设计更好的算法，并将机器学习与非平衡热力学联系起来。

论文旨在提供透明的物理分析，以理解扩散模型的内在机制，包括涨落定理、熵生产、Franz-Parisi势等，以理解最近发现的内在相变。同时，该论文试图将机器学习与非平衡热力学联系起来。

该论文的关键思路是将非平衡物理和平衡物理的概念相结合，将正向和反向动力学都视为Langevin动力学，并将反向扩散生成过程视为统计推断，其中时间依赖状态变量作为自旋玻璃理论中研究的淬灭扰动。

该论文提供了透明的物理分析，以理解扩散模型的内在机制，并探讨了机器学习与非平衡热力学的联系。论文使用了非平衡物理和平衡物理的概念相结合的方法，对正向和反向动力学都视为Langevin动力学，并将反向扩散生成过程视为统计推断。值得关注的是，该论文提出的统一原则有望指导机器学习从业者设计更好的算法和理论物理学家将机器学习与非平衡热力学联系起来。

最近在这个领域中，还有一些相关的研究，例如《Diffusion generative models》、《Deep Diffusion Processes for Time-Series Prediction》等。