Eliminating Oversaturation and Artifacts of High Guidance Scales in Diffusion Models

分类器无指导（CFG）对于提高扩散模型中的生成质量和输入条件与最终输出之间的对齐至关重要。虽然通常需要高指导比例来增强这些方面，但这也会导致过饱和和不真实的伪影。本文重新审视CFG更新规则并引入修改以解决这个问题。我们首先将CFG中的更新项分解为平行和正交两个部分，与条件模型预测相关的平行部分主要引起过饱和，而正交部分则增强了图像质量。因此，我们提出减小平行部分的权重以实现高质量的生成而不过饱和。此外，我们建立了CFG与梯度上升之间的联系，并基于这个见解引入了一种新的重新缩放和动量方法来更新CFG规则。我们的方法被称为自适应投影指导（APG），保留了CFG的质量提升优势，同时使得可以使用更高的指导比例而不会过饱和。APG易于实现，在采样过程中几乎不会引入额外的计算开销。通过大量实验，我们证明APG与各种条件扩散模型和采样器兼容，导致改进的FID、召回率和饱和度得分，同时保持与CFG可比的精度，使我们的方法成为标准分类器无指导的优秀即插即用替代方案。

本论文旨在解决在扩散模型中使用分类器无指导（CFG）时，高指导比例会导致过饱和和不真实伪影的问题。

本文提出了自适应投影指导（APG）方法，通过对CFG更新规则进行修改，减轻了过饱和问题，同时保持了高质量的图像生成。

本文通过实验展示了APG方法的有效性，可以提高FID、召回率和饱和度得分，同时保持与CFG相当的精度。APG方法易于实现，不会增加额外的计算负担，并且可以与各种条件扩散模型和采样器兼容。

近期的相关研究包括《Improved Techniques for Training Score-Based Generative Models》、《BigGAN: Generative Adversarial Networks with Large Scale Synthesis》等。