Accelerating Diffusion Models with One-to-Many Knowledge Distillation

通过扩散模型，图像生成取得了显著进展。然而，与以往的生成模型相比，扩散模型面临着巨大的计算开销，导致实时生成失败。最近的方法旨在通过改进抽样技术或步骤蒸馏来减少抽样步骤的数量来加速扩散模型。然而，减少每个时间步骤的计算成本的方法仍然是一个相对未被探索的领域。观察到扩散模型在不同的时间步骤上表现出不同的输入分布和特征分布，我们引入了一对多知识蒸馏（O2MKD），将单个教师扩散模型蒸馏成多个学生扩散模型，其中每个学生扩散模型被训练学习教师对于连续时间步骤子集的知识。在CIFAR10、LSUN Church、CelebA-HQ和COCO30K上进行的实验表明，O2MKD可以应用于以前的知识蒸馏和快速抽样方法，以实现显著加速。代码将在Github上发布。

本论文旨在解决扩散模型在图像生成中的计算成本高的问题，通过一对多知识蒸馏（O2MKD）的方法，将单个教师扩散模型蒸馏成多个学生扩散模型，以加速模型的生成速度。

论文的关键思路是通过一对多知识蒸馏的方法，将单个教师扩散模型的知识分配给多个学生扩散模型，使得每个学生模型只需要学习教师模型的一部分知识，从而降低每个时间步的计算成本。

论文的实验结果表明，O2MKD方法可以应用于以前的知识蒸馏和快速采样方法，以实现显著加速。论文在CIFAR10、LSUN Church、CelebA-HQ和COCO30K数据集上进行了实验，并将代码开源在Github上。

最近的相关研究包括对扩散模型的改进，如改进采样技术或步骤蒸馏，以减少采样步骤的数量。