Consistency Models Made Easy

一致性模型（CMs）是一种新兴的生成模型，比传统的扩散模型具有更快的采样速度。CMs强制所有采样轨迹上的点映射到同一初始点。但是，这个目标导致了资源密集型的训练：例如，截至2024年，在8个GPU上训练CIFAR-10上的SoTA CM需要一周时间。在这项工作中，我们提出了一种替代方案来训练CMs，大大提高了构建这种模型的效率。具体而言，通过用特定的微分方程表示CM轨迹，我们认为扩散模型可以被视为具有特定离散化的CMs的一种特殊情况。因此，我们可以从预训练的扩散模型开始微调一致性模型，并在训练过程中逐渐逼近完整的一致性条件。我们的方法称为Easy Consistency Tuning（ECT），在大大提高训练时间的同时，确实改善了以前方法的质量：例如，在单个A100 GPU上，ECT在1小时内在CIFAR10上实现了2.73的2步FID，与使用数百个GPU小时训练的一致性蒸馏相匹配。由于这种计算效率，我们研究了在ECT下CMs的缩放定律，表明它们似乎遵循经典的幂律缩放规律，暗示它们在更大的规模下提高效率和性能的能力。代码（https://github.com/locuslab/ect）可用。

本论文旨在提出一种更高效的一致性模型（Consistency Model, CM）训练方法，以解决传统方法在训练过程中耗费大量资源的问题。

论文提出了一种名为Easy Consistency Tuning (ECT)的方法，通过利用扩散模型与一致性模型之间的关系，从预训练的扩散模型开始微调，逐步逼近完整的一致性条件，从而实现更高效的训练。

论文使用CIFAR-10数据集进行实验，证明了ECT方法相比之前的方法在训练时间和模型质量上都有所提升。此外，论文还研究了CM在不同规模下的表现，并发现其符合经典的幂律缩放定律。

与本论文相关的研究包括传统的扩散模型和一致性模型的训练方法，以及其他生成模型的研究，如VAE、GAN等。