DeepCache: Accelerating Diffusion Models for Free

最近，由于扩展性强，扩散模型在图像合成领域引起了前所未有的关注。尽管这些模型很强大，但它们通常会产生大量的计算成本，主要是由于顺序去噪过程和笨重的模型大小。传统的扩散模型压缩方法通常涉及大量的重新训练，面临成本和可行性的挑战。本文介绍了DeepCache，这是一种新的无需训练的范例，从模型架构的角度加速扩散模型。DeepCache利用扩散模型顺序去噪步骤中观察到的固有时间冗余，通过在相邻的去噪阶段之间缓存和检索特征，从而减少冗余计算。利用U-Net的特性，我们以非常便宜的方式重复使用高级特征，同时更新低级特征。这种创新策略进而实现了Stable Diffusion v1.5的2.3倍加速，仅CLIP分数下降0.05，以及对ImageNet的LDM-4-G的4.1倍加速，略微下降0.22的FID。我们的实验还表明，DeepCache比现有的需要重新训练的剪枝和蒸馏方法更加优越，并且与当前的采样技术兼容。此外，我们发现在相同的吞吐量下，DeepCache可以有效地实现与DDIM或PLMS相当甚至略微提高的结果。代码可在https://github.com/horseee/DeepCache上获得。

本文旨在解决扩散模型在图像合成中的计算成本和模型大小问题，而传统的压缩方法需要进行大量的重新训练，成本高且可行性低。

DeepCache是一种新的无需训练的加速扩散模型的范例，从模型架构的角度进行优化，利用扩散模型中观察到的时空冗余特性，缓存和检索相邻去噪阶段的特征，从而减少重复计算。利用U-Net的特性，我们以非常便宜的方式重用高级特征，同时更新低级特征。

DeepCache在Stable Diffusion v1.5上获得了2.3倍的加速因子，仅有0.05的CLIP分数下降，在LDM-4-G上获得了4.1倍的加速因子，仅有0.22的FID下降。与需要重新训练的现有剪枝和蒸馏方法相比，DeepCache具有优越性，并且与当前的采样技术兼容。此外，在相同的吞吐量下，DeepCache实现了与DDIM或PLMS相当甚至略微提高的结果。作者已经开源了代码。

最近的相关研究包括：《Distilling Intractable Generative Models》、《Probabilistic Local Moving and Scaling for Diffusion Models》等。