Cross-Attention Makes Inference Cumbersome in Text-to-Image Diffusion Models

这项研究探讨了跨注意力在文本条件扩散模型推理过程中的作用。我们发现，跨注意力输出在几个推理步骤后会收敛到一个固定点。因此，收敛的时间点自然地将整个推理过程分为两个阶段：一个初始的语义规划阶段，在此阶段中，模型依赖于跨注意力来规划面向文本的视觉语义；以及一个随后的保真度提高阶段，在此阶段中，模型试图从先前规划的语义中生成图像。令人惊讶的是，在保真度提高阶段忽略文本条件不仅可以降低计算复杂度，还可以保持模型性能。这产生了一种简单且无需训练的高效生成方法，称为TGATE，它在跨注意力输出收敛后缓存并在剩余的推理步骤中保持固定。我们在MS-COCO验证集上的实证研究证实了其有效性。TGATE的源代码可在https://github.com/HaozheLiu-ST/T-GATE找到。

本论文旨在研究文本条件扩散模型在推理过程中的交叉注意力作用，探究其是否能够提高图像生成的效率和性能。

论文提出了一种名为TGATE的简单、高效的图像生成方法，该方法利用交叉注意力在推理过程中分为两个阶段，第一阶段是基于文本规划语义，第二阶段是提高图像生成的保真度。在第二阶段中，忽略文本条件不仅可以减少计算复杂度，而且可以保持模型的性能。

论文的亮点包括发现交叉注意力输出在几个推理步骤后会收敛到一个固定点，提出了一种简单、高效的图像生成方法TGATE，该方法不需要训练，可以缓存交叉注意力的输出，从而减少计算复杂度。在MS-COCO验证集上的实验结果表明，该方法的有效性。TGATE的源代码已经开源。

在这个领域中，最近的相关研究包括《Generative Adversarial Text-to-Image Synthesis: A Survey》、《Text-to-Image Generation: A Survey》等。