Align Your Steps: Optimizing Sampling Schedules in Diffusion Models

扩散模型（DM）已经成为视觉领域和其他领域中最先进的生成建模方法。DM的一个关键缺点是它们的采样速度慢，依赖于通过大型神经网络的许多顺序函数评估。从DM中采样可以被看作是通过离散化的噪声级别集合解决微分方程。虽然过去的研究主要集中在推导高效的求解器上，但对于寻找最优采样计划却很少关注，整个文献都依赖于手工设计的启发式算法。在这项工作中，我们首次提出了一种通用和基于原则的方法，用于优化DM的采样计划，以获得高质量的输出，称为“Align Your Steps”。我们利用随机微积分的方法，为不同的求解器、训练DM和数据集找到最优的计划。我们在几个图像、视频以及二维玩具数据合成基准测试中评估了我们的新方法，使用了各种不同的采样器，并观察到我们优化的计划在几乎所有实验中都优于以前手工设计的计划。我们的方法展示了采样计划优化的未开发潜力，特别是在少步合成方案中。

优化扩散模型的采样计划，以提高采样速度和生成质量。

提出一种基于随机微积分的方法，通过优化采样计划来加速扩散模型的采样速度和提高生成质量。

论文提出的方法名为$ extit{Align Your Steps}$，在多个图像、视频和2D数据综合基准测试中进行了评估，使用了多种不同的采样器，观察到我们优化的采样计划在几乎所有实验中优于以前的手工制定的计划。该方法展示了采样计划优化的潜力，特别是在少量步骤的综合方案中。

最近的相关研究主要集中在提高扩散模型的采样速度和生成质量方面，包括改进采样器和设计更高效的求解器等。