SDXS: Real-Time One-Step Latent Diffusion Models with Image Conditions

最近扩散模型的进步使其成为图像生成的前沿技术。尽管性能卓越，扩散模型也存在缺点：它们具有复杂的架构和大量的计算需求，由于其迭代采样过程，导致显著的延迟。为了缓解这些限制，我们引入了一种双重方法，包括模型小型化和采样步骤的减少，旨在显著降低模型延迟。我们的方法利用知识蒸馏来简化U-Net和图像解码器的架构，并引入一种创新的一步DM训练技术，利用特征匹配和分数蒸馏。我们提出了两个模型，SDXS-512和SDXS-1024，在单个GPU上实现了约100 FPS的推理速度（比SD v1.5快30倍），以及约30 FPS的推理速度（比SDXL快60倍），此外，我们的训练方法在基于图像的控制中具有有前途的应用，促进了高效的图像到图像的转换。

论文旨在解决扩散模型在图像生成方面的计算复杂度高和迭代采样过程慢的问题，提出了一种通过模型小型化和减少采样步骤的双重方法来显著降低模型延迟的解决方案。

该论文的关键思路是利用知识蒸馏来简化U-Net和图像解码器的架构，并引入一种创新的一步DM训练技术，利用特征匹配和分数蒸馏。通过这种方法，提出了两个模型SDXS-512和SDXS-1024，分别在单个GPU上实现了约100 FPS和30 FP的推断速度。

该论文的亮点包括使用知识蒸馏来简化模型架构和提高推断速度，提出了一种创新的一步DM训练技术，实现了高速和高质量的图像生成，具有很好的应用前景。

与该论文相关的研究包括扩散模型在图像生成方面的其他研究，以及知识蒸馏在模型压缩和加速方面的其他应用研究。