Self-Rectifying Diffusion Sampling with Perturbed-Attention Guidance

最近的研究表明扩散模型能够生成高质量的样本，但其质量严重依赖于采样引导技术，例如分类器引导（CG）和无分类器引导（CFG）。这些技术通常不适用于无条件生成或各种下游任务，例如图像恢复。在本文中，我们提出了一种新的采样引导方法，称为扰动注意力引导（PAG），它改善了扩散样本的质量，包括无条件和条件设置，而无需额外的训练或集成外部模块。PAG旨在逐步增强样本的结构，在去噪过程中生成具有退化结构的中间样本，通过将扩散U-Net中选择的自注意力映射替换为恒等矩阵来考虑自注意力机制捕获结构信息的能力，并引导去噪过程远离这些退化样本。在ADM和Stable Diffusion中，PAG令人惊讶地改善了条件和无条件情况下的样本质量。此外，PAG在各种下游任务中显著提高了基线性能，其中现有的CG或CFG等引导无法充分利用，包括具有空提示的ControlNet和图像修复，例如修补和去模糊。

本文旨在提出一种新的采样引导技术，称为Perturbed-Attention Guidance（PAG），以改善扩散模型在无条件和有条件生成以及各种下游任务中的样本质量。

PAG通过在扩散U-Net中用恒等矩阵替换选定的自注意力映射来生成具有降级结构的中间样本，并引导去除这些降级样本，从而逐步提高样本的结构。

实验结果表明，PAG可以在有条件和无条件情况下显著提高样本质量，并在各种下游任务中显著提高基线性能，包括使用空提示的ControlNet和图像修复（修补和去模糊）。

在相关研究中，最近有一些关于扩散模型的研究，如《Improved Denoising Diffusion Probabilistic Models》和《DDIM: Diffusion Models with Invertible Dynamics and Memory》。