High Noise Scheduling is a Must

一致性模型具有高级图像生成能力，通过其先进技术将采样步骤推进到单步骤。当前的进展使一致性训练技术向前迈进了一步，消除了蒸馏训练的限制。尽管改进的训练技术中提出的课程和噪声调度比基本的一致性模型产生了更好的结果，但它缺乏良好平衡的噪声分布和课程之间的一致性。本研究调查了噪声分布中高低噪声水平之间的平衡，并提供了多项式噪声分布以保持稳定性。这种提出的多项式噪声分布也支持预定义的Karras噪声，以防止使用Karras噪声生成算法产生唯一的噪声水平。此外，通过基于正弦函数的课程消除学习到的噪声步骤，可以提高模型在去噪方面的性能。为了与最新发布的一致性模型训练技术进行公平比较，实验采用相同的超参数进行，除了课程和噪声分布。实验中使用的模型深度较低，以证明我们提出的技术的鲁棒性。结果表明，多项式噪声分布优于使用对数正态噪声分布训练的模型，在100,000个训练步骤后，产生了33.54的FID分数，离散化步骤保持不变。此外，基于正弦函数的课程的实施增强了去噪性能，产生了30.48的FID分数。

本论文旨在解决当前一些基于一致性模型的图像生成训练技术存在的问题，如噪声分布不平衡、课程学习不一致等，以提高模型的稳定性和性能。

论文提出了一种基于多项式噪声分布和正弦函数课程学习的训练技术，以增强一致性模型的稳定性和图像生成能力。

论文的实验表明，多项式噪声分布比对数正态分布更有效，正弦函数课程学习有助于提高去噪性能。实验使用了低深度模型，且开源了代码。

近期的相关研究包括：《Distilling the Knowledge in a Neural Network》、《A Style-Based Generator Architecture for Generative Adversarial Networks》等。