Attention-Driven Training-Free Efficiency Enhancement of Diffusion Models

扩散模型（DMs）在生成高质量和多样化图像方面表现出卓越的性能。然而，这种出色的性能是以昂贵的架构设计为代价的，特别是由于在领先的模型中广泛使用的注意力模块。现有的工作主要采用重新训练的过程来增强DM的效率。这是计算上昂贵且不太可扩展的。为此，我们介绍了基于注意力驱动的无训练高效扩散模型（AT-EDM）框架，利用注意力图在运行时修剪冗余标记，无需任何重新训练。具体而言，对于单去噪步骤修剪，我们开发了一种新的排名算法，广义加权页面排名（G-WPR），来识别冗余标记，并基于相似性的恢复方法来恢复卷积操作的标记。此外，我们提出了一种去噪步骤感知修剪（DSAP）方法，以调整不同去噪步骤之间的修剪预算，以获得更好的生成质量。广泛的评估表明，AT-EDM在效率方面表现优异（例如，比Stable Diffusion XL节省38.8%的FLOPs，并提高了1.53倍的速度），同时维持了与完整模型几乎相同的FID和CLIP分数。项目网页：https://atedm.github.io。

本论文旨在提出一种无需重新训练的高效扩散模型（DM）架构，利用注意力图来运行时修剪冗余令牌，以提高模型效率。

该论文提出了一种基于注意力图的训练无关的高效扩散模型（AT-EDM）框架，通过开发新的排名算法和相似性恢复方法来进行单去噪步骤修剪，并提出了一种去噪步骤感知修剪（DSAP）方法来调整修剪预算。

论文通过广泛的评估表明，AT-EDM在效率方面表现优异，同时保持几乎与完整模型相同的FID和CLIP得分。论文使用的数据集和开源代码都在项目网页上公开。

相关研究包括扩散模型的先前工作，如Stable Diffusion XL，以及其他注意力机制的应用研究，如Transformer和BERT。