One-step Diffusion with Distribution Matching Distillation

本文介绍了一种称为分布匹配蒸馏（DMD）的方法，可以将扩散模型转换为一步图像生成器，而对图像质量的影响最小。我们通过最小化近似KL散度来强制执行一步图像生成器在分布级别上匹配扩散模型，其梯度可以表示为目标分布和由我们的一步生成器产生的合成分布的两个分数函数之间的差异。分数函数被参数化为在每个分布上分别训练的两个扩散模型。结合一个简单的回归损失，匹配多步扩散输出的大规模结构，我们的方法优于所有已发布的少步扩散方法，在ImageNet 64x64上达到2.62 FID，在零样本COCO-30k上达到11.49 FID，与Stable Diffusion相当，但速度快了几个数量级。利用FP16推断，我们的模型可以在现代硬件上以20 FPS生成图像。

DMD试图将扩散模型转化为一步图像生成器，以提高生成速度，同时保持图像质量。这是一个新问题。

DMD通过最小化近似KL散度来实现一步图像生成器和扩散模型的分布匹配，同时使用两个扩散模型来参数化目标分布和合成分布的得分函数，并通过简单的回归损失匹配多步扩散输出的大尺度结构。

实验表明，DMD的性能优于所有已发布的少步扩散方法，在ImageNet 64x64上达到2.62 FID，在零样本COCO-30k上达到11.49 FID，与Stable Diffusion相当但速度快几个数量级。使用FP16推理，模型在现代硬件上可以以20 FPS生成图像。

相关研究包括扩散模型和其变体，如Stable Diffusion和Implicit Diffusion。