SlimFlow: Training Smaller One-Step Diffusion Models with Rectified Flow

本文旨在基于强大的修正流框架开发小型、高效的单步扩散模型，通过探索推理步骤和模型大小的联合压缩。修正流框架使用两个操作，即回流和蒸馏，来训练单步生成模型。与原始框架相比，压缩模型大小带来了两个新的挑战：（1）在回流过程中，大型教师和小型学生之间的初始化不匹配；（2）小型学生模型上朴素蒸馏的表现不佳。为了克服这些问题，我们提出了“退火回流”和“流引导蒸馏”两种方法，共同构成了我们的SlimFlow框架。使用我们的新框架，我们训练了一个FID为5.02、参数为15.7M的单步扩散模型，在CIFAR10上表现优于之前的最先进单步扩散模型（FID=6.47，参数为19.4M）。在ImageNet 64×64和FFHQ 64×64上，我们的方法产生了与较大模型相当的小型单步扩散模型，展示了我们的方法在创建紧凑、高效的单步扩散模型方面的有效性。

本文旨在开发小型高效的一步扩散模型，探索推理步骤和模型大小的联合压缩。相比较于当前的研究，本文试图解决扩散模型在生成高质量图像时速度缓慢的问题，并在计算受限的场景下实现应用。

本文提出了一种新的框架SlimFlow，其中包括退火回流和流引导蒸馏两个部分，以解决模型大小缩减所带来的两个挑战。通过探索基于修正流框架的小型高效一步扩散模型，本文实现了比之前的最先进一步扩散模型更好的性能。

本文的实验结果表明，SlimFlow框架下的一步扩散模型在CIFAR10数据集上的FID为5.02，参数量为15.7M，优于之前最先进的一步扩散模型（FID=6.47，参数量为19.4M）。在ImageNet 64x64和FFHQ 64x64上，本文的方法得到了与更大模型相当的小型一步扩散模型。本文的代码已经开源。

最近的相关研究包括：《DDIM: Diffusion-based Implicit Models》、《One-Sided Unconditional Boundary-Seeking GAN》、《Improved Denoising Diffusion Probabilistic Models》等。