Analyzing and Improving the Training Dynamics of Diffusion Models

目前，扩散模型在数据驱动的图像合成领域占据主导地位，其可扩展性无与伦比。本文在不改变ADM扩散模型架构的高层结构的情况下，识别和纠正了几个导致该模型训练不平衡和无效的原因。我们观察到网络激活和权重在训练过程中存在不受控制的幅度变化和不平衡，重新设计了网络层以保持期望的激活、权重和更新幅度。我们发现，系统地应用这一理念消除了观察到的漂移和不平衡，使得在相同计算复杂度下的网络显著改善。我们的修改将ImageNet-512合成的先前记录FID从2.41改进到1.81，使用快速确定性采样实现。作为独立的贡献，我们提出了一种在训练结束后设置指数移动平均（EMA）参数的方法。这允许精确调整EMA长度，而不需要进行多次训练，同时揭示了EMA与网络架构、训练时间和指导的惊人相互作用。

本论文旨在解决ADM扩散模型架构中训练不平衡和无效的问题，同时提出一种后期设置指数移动平均（EMA）参数的方法。

通过重新设计网络层，保持期望上的激活、权重和更新量大小的平衡，解决了ADM扩散模型架构中训练不平衡和无效的问题，并提出了一种后期设置EMA参数的方法。

论文在ImageNet-512数据集上实现了FID值从2.41到1.81的显著提升，实验结果表明该方法在相同的计算复杂度下可以得到更好的网络。此外，论文提出的后期设置EMA参数的方法可以精确调节EMA长度，并揭示了EMA与网络架构、训练时间和指导之间的惊人相互作用。

最近的相关研究包括：1）StyleGAN2-ADA；2）NVAE；3）DDIM；4）CLIP。