Denoising Task Difficulty-based Curriculum for Training Diffusion Models

扩散生成模型已成为生成建模领域中强大的工具。尽管在各个时间步长和噪声水平上进行了广泛的去噪研究，但关于去噪任务的相对难度仍存在争议。一些研究认为较低的时间步长提出了更具挑战性的任务，而另一些则认为较高的时间步长更为困难。为了解决这一冲突，本研究对任务难度进行了全面的研究，重点关注收敛行为和连续概率分布之间的相对熵的变化。我们的观察研究表明，较早的时间步长的去噪存在收敛较慢和相对熵较高的挑战，表明这些较低的时间步长存在更高的任务难度。基于这些观察结果，我们引入了一个易到难的学习方案，借鉴课程学习的思想，以增强扩散模型的训练过程。通过将时间步长或噪声水平组织成簇，并按难度递减的顺序训练模型，我们实现了一个有序的训练体系，从更容易到更难的去噪任务逐步学习，从而偏离了同时在所有时间步长上训练扩散模型的传统方法。我们的方法利用课程学习的优势，提高了性能和更快的收敛速度，同时与现有的扩散训练技术改进保持正交性。我们通过对无条件、类条件和文本到图像生成等图像生成任务的全面实验验证了这些优势。

论文旨在解决在扩散生成模型中，关于去噪任务相对难度的争议问题，以及如何通过训练策略来提高性能和加快收敛速度。

论文提出了一种易于困难的学习方案，通过课程学习的思想，将时间步长或噪声水平分成不同的簇，并按照难度递减的顺序训练模型，从而提高性能和加快收敛速度。

论文通过实验验证了这种易于困难的学习方案的有效性，并在图像生成任务中展示了其性能，包括无条件、类条件和文本到图像生成。论文还开源了代码。

近年来，在扩散生成模型领域，还有一些相关的研究，如《Improved Techniques for Training Score-Based Generative Models》和《Training Generative Adversarial Networks with Limited Data》。