Adv-KD: Adversarial Knowledge Distillation for Faster Diffusion Sampling

Diffusion Probabilistic Models（DPMs）已成为一类强大的深度生成模型，在图像合成任务中取得了显著的性能。然而，这些模型在样本生成过程中依赖于顺序去噪步骤，因此面临着广泛采用的挑战。这种依赖关系导致了大量的计算需求，使它们不适用于资源受限或实时处理系统。为了解决这些挑战，我们提出了一种新的方法，将去噪阶段直接集成到模型的架构中，从而减少了对资源密集型计算的需求。我们的方法通过知识蒸馏将扩散模型与生成对抗网络（GANs）结合起来，从而实现更高效的训练和评估。通过利用预先训练的扩散模型作为教师模型，我们通过对抗学习训练一个学生模型，采用分层变换进行去噪和子模块进行预测，以在不同时间点预测教师模型的输出。这种集成显著减少了所需的参数和去噪步骤数量，从而提高了测试时的采样速度。我们通过广泛的实验证实了我们的方法，证明了与现有方法相比，我们具有可比的性能，但要求更少的计算资源。通过在资源受限设备上部署扩散模型，我们的研究缓解了它们的计算负担，为研究社区和最终用户提供了更广泛的可访问性和实用性。我们的代码公开在https://github.com/kidist-amde/Adv-KD上。

本论文旨在解决Diffusion Probabilistic Models (DPMs)在生成样本时需要进行顺序去噪步骤的计算量大、不适用于资源受限或实时处理系统的问题。

论文提出一种将去噪阶段直接融入模型架构的新方法，通过知识蒸馏将扩散模型与生成对抗网络（GANs）相结合，从而实现更高效的训练和评估。

该方法通过使用预训练的扩散模型作为教师模型，通过对抗学习训练学生模型，采用分层转换进行去噪和子模块进行预测，从而显著减少了所需的参数和去噪步骤，提高了测试时的采样速度。实验结果表明，该方法与现有方法相比，在减少计算需求的同时，具有相当的性能。

在这个领域中，最近还有一些相关的研究，例如：《Improved Techniques for Training GANs》、《PixelGAN Autoencoder: Unsupervised Scene Decomposition and Representation》等。