Distilling Diffusion Models into Conditional GANs

我们提出了一种方法，将复杂的多步扩散模型蒸馏成单步条件GAN学生模型，从而大大加速了推理过程，同时保持了图像质量。我们的方法将扩散蒸馏解释为一种成对的图像到图像的转换任务，使用扩散模型ODE轨迹的噪声到图像对。为了进行高效的回归损失计算，我们提出了E-LatentLPIPS，这是一种在扩散模型潜在空间中直接操作的感知损失，利用增强集合。此外，我们改进了扩散模型，构建了一个多尺度鉴别器，使用文本对齐损失来构建有效的条件GAN模型。即使考虑到数据集构建成本，E-LatentLPIPS的收敛速度也比许多现有的蒸馏方法更快。我们证明了我们的一步生成器在零样本COCO基准测试中优于最先进的一步扩散蒸馏模型——DMD、SDXL-Turbo和SDXL-Lightning。

论文旨在将复杂的多步扩散模型转化为单步条件GAN学生模型，以加快推断速度，同时保持图像质量。这个问题在当前领域中是一个新问题。

论文将扩散模型压缩为单步生成器，使用噪声到图像的对应图像转换任务来实现扩散蒸馏。同时，使用E-LatentLPIPS来进行有效的回归损失计算，该方法在扩散模型的潜在空间中使用一组增强的感知损失。此外，论文还利用扩散模型构建多尺度鉴别器，使用文本对齐损失构建有效的条件GAN模型。

论文的实验结果表明，单步生成器的表现优于当前最先进的扩散蒸馏模型，如DMD、SDXL-Turbo和SDXL-Lightning，特别是在零样本COCO基准测试中。此外，论文还提供了数据集和开源代码，以便其他研究者可以进一步研究。

最近的相关研究包括：《Diffusion Models Beat GANs on Image Synthesis》、《Improved Techniques for Training Single-Image GANs》、《A Style-Based Generator Architecture for Generative Adversarial Networks》等。