Score identity Distillation: Exponentially Fast Distillation of Pretrained Diffusion Models for One-Step Generation

我们介绍了一种名为Score identity Distillation（SiD）的创新性无数据方法，该方法将预训练扩散模型的生成能力提炼到单步生成器中。SiD不仅在提炼过程中实现了指数级的Fr\'echet inception distance（FID）降低，而且还接近甚至超过了原始教师扩散模型的FID性能。通过将正向扩散过程重新表述为半隐式分布，我们利用了三个与分数相关的身份来创建创新性的损失机制。该机制通过使用生成器自己合成的图像进行训练，消除了真实数据或基于反向扩散的生成的需求，同时在显著缩短的生成时间内完成了快速的FID降低。在对四个基准数据集进行评估时，SiD算法在提炼过程中表现出高迭代效率，并在生成质量方面超越了竞争的提炼方法，无论它们是单步或少步、无数据还是依赖于训练数据。这一成就不仅重新定义了扩散提炼的效率和有效性基准，也重新定义了扩散生成的广泛领域。我们的PyTorch实现将在GitHub上公开。

SiD试图解决的问题是如何将预训练的扩散模型的生成能力提取出来，转化为单步生成器，同时不需要真实数据。这是否是一个新问题，需要进一步了解。

SiD的关键思路是通过将正向扩散过程重新表述为半隐式分布，并利用三个得分相关的身份来创建创新的损失机制，从而通过使用其自己合成的图像训练生成器，实现快速FID减少。

SiD算法快速提高了FID的性能，甚至超过了原始扩散模型的FID性能。SiD算法不需要真实数据或反向扩散生成，所有这些都在显著缩短的生成时间内完成。在四个基准数据集上进行评估，SiD算法表现出高迭代效率，并且在生成质量方面超过了竞争的蒸馏方法，无论是一步还是几步，无论是否依赖于训练数据。SiD算法的PyTorch实现将在GitHub上公开。

最近在这个领域中，还有一些相关的研究，如：《Data-Free Knowledge Distillation for Deep Neural Networks》、《Data-Free Learning of Student Networks》等。