A Closer Look at Time Steps is Worthy of Triple Speed-Up for Diffusion Model Training

训练扩散模型总是一个计算密集型的任务。在本文中，我们介绍了一种新的扩散模型训练加速方法，称为SpeeD，它基于对时间步长的更深入的研究。我们的主要发现是：i）根据过程增量，时间步骤可以根据经验分为加速、减速和收敛区域。ii）这些时间步骤是不平衡的，许多步骤集中在收敛区域。iii）集中的步骤对扩散训练提供了有限的好处。为了解决这个问题，我们设计了一种不对称采样策略，减少了来自收敛区域的步骤频率，同时增加了来自其他区域的采样概率。此外，我们提出了一种加权策略，强调具有快速变化过程增量的时间步骤的重要性。作为一种即插即用且架构无关的方法，SpeeD在各种扩散架构、数据集和任务中始终实现了3倍的加速。值得注意的是，由于其简单的设计，我们的方法显著降低了扩散模型训练的成本，几乎没有额外的开销。我们的研究使更多的研究人员能够以更低的成本训练扩散模型。

本文试图解决训练扩散模型时计算密集的问题。具体地，作者发现时间步骤可以根据过程增量被经验性地分为加速、减速和收敛区域，而这些时间步骤是不平衡的，许多集中在收敛区域。因此，作者设计了一种不对称采样策略来减少来自收敛区域的步骤频率，同时增加来自其他区域的采样概率，以及一种加权策略来强调具有快速变化过程增量的时间步骤的重要性。

本文的关键思路是设计一种不对称采样策略和加权策略，以加速扩散模型的训练。

本文提出的SpeeD方法在各种扩散架构、数据集和任务中均能实现3倍加速，并且由于其简单的设计，显著降低了扩散模型训练的成本。作者还提供了开源代码。

最近的相关研究包括《Diffusion Models Beat GANs on Image Synthesis》和《Improved Techniques for Training Score-Based Generative Models》等。