Distilling Diffusion Models into Conditional GANs

我们提出了一种方法，将复杂的多步扩散模型提炼成单步条件 GAN 学生模型，从而大大加速推理过程，同时保持图像质量。我们的方法将扩散提炼视为一项成对的图像到图像转换任务，使用扩散模型的 ODE 轨迹的噪声到图像对。为了高效地计算回归损失，我们提出了 E-LatentLPIPS，一种在扩散模型的潜在空间中直接运行的感知损失，利用增强集合。此外，我们改进了扩散模型，构建了一个多尺度鉴别器，带有文本对齐损失，以构建一个有效的条件 GAN 模型。即使考虑到数据集构建成本，E-LatentLPIPS 的收敛速度也比许多现有的提炼方法更快。我们证明了我们的单步生成器在零样本 COCO 基准测试中优于最先进的单步扩散提炼模型-DMD、SDXL-Turbo 和 SDXL-Lightning。

本论文旨在通过一种新的方法，将复杂的多步扩散模型转化为单步条件GAN学生模型，从而大大加速推断速度，同时保持图像质量。具体而言，论文将扩散模型压缩为一对图像到图像的转换任务，使用扩散模型ODE轨迹的噪声到图像对。

本论文的关键思路是将复杂的多步扩散模型转化为单步条件GAN学生模型，通过使用扩散模型ODE轨迹的噪声到图像对，构建一个有效的条件GAN模型，同时提出了E-LatentLPIPS，一种在扩散模型潜在空间中直接操作的感知损失。

本论文的亮点包括：1.使用一种新的方法将复杂的多步扩散模型转化为单步条件GAN学生模型，大大加速推断速度，同时保持图像质量。2.提出了E-LatentLPIPS，一种在扩散模型潜在空间中直接操作的感知损失，使得模型更加高效。3.构建了一个多尺度鉴别器，并使用文本对齐损失，进一步提高了模型的性能。4.在零样本COCO基准测试中，证明了本论文提出的单步生成器优于当前最先进的单步扩散压缩模型。

在这个领域中，最近的相关研究包括：DMD、SDXL-Turbo和SDXL-Lightning等扩散模型压缩方法，以及其他图像压缩和生成模型的研究。