Dynamical Regimes of Diffusion Models

我们使用统计物理方法研究了在空间维度和数据量都很大，且得分函数已经被最优训练的生成扩散模型。我们的分析揭示了在反向生成扩散过程中存在三个不同的动态阶段。从纯噪声开始的生成动力学首先遇到“物种分化”转变，通过类似于相变中对称性破缺的机制揭示了数据的总体结构。然后在后续时间内，会出现“坍缩”转变，这时动力学的轨迹会被吸引到已记忆数据点中的一个，通过类似于玻璃相中的凝聚机制实现。对于任何数据集，可以通过对相关矩阵进行谱分析来找到分化时间，并通过数据中“过剩熵”的估计来找到坍缩时间。坍缩时间对于维度和数据量的依赖提供了扩散模型维数灾难的全面描述。对于高维高斯混合模型等简单模型的解析解证实了这些发现并提供了理论框架，而对于更复杂情况的扩展和与真实数据集的数值验证则确认了理论预测。

本论文旨在研究大维度数据集中的生成扩散模型，探究反向生成扩散过程中的三种不同动态转变，并对其进行分析。

论文提出了一种通过谱分析和数据中过量熵的估计来确定数据集中的分化时间和崩溃时间的方法，以此来解决扩散模型中的维度诅咒问题。

论文的亮点包括通过分析高维高斯混合模型等简单模型得出的理论结果，以及对复杂情景的扩展和真实数据集的数值验证。论文还提到了开源代码和值得进一步研究的工作方向。

与本论文相关的其他研究包括“Generative Adversarial Networks”和“Variational Autoencoders”等生成模型，以及“Diffusion Maps”等扩散模型的研究。