Simplifying, Stabilizing and Scaling Continuous-Time Consistency Models

一致性模型（CMs）是一类基于扩散的生成模型，优化了快速采样。大多数现有的CMs都是使用离散化时间步长进行训练，这会引入额外的超参数并容易出现离散化误差。虽然连续时间形式可以减轻这些问题，但其成功受到训练不稳定性的限制。为了解决这个问题，我们提出了一个简化的理论框架，将扩散模型和CMs的先前参数化统一起来，识别出不稳定性的根本原因。基于这个分析，我们在扩散过程参数化、网络架构和训练目标方面引入了关键改进。这些改变使我们能够在前所未有的规模下训练连续时间CMs，在ImageNet 512x512上达到了15亿个参数。我们提出的训练算法只使用两个采样步骤，在CIFAR-10上实现了2.06的FID分数，在ImageNet 64x64上实现了1.48的FID分数，在ImageNet 512x512上实现了1.88的FID分数，将FID分数与最好的现有扩散模型缩小到不到10%的差距。

本论文旨在解决连续时间下的一致性模型（CMs）训练不稳定的问题，提出了一种新的训练算法，实现了在ImageNet 512x512数据集上1.5B参数的训练。

本论文通过简化理论框架，识别出训练不稳定的根本原因，并在扩散过程参数化、网络架构和训练目标等方面进行改进，提出了一种新的训练算法。

论文使用了连续时间下的一致性模型（CMs）进行训练，通过提出的改进方案，实现了在ImageNet 512x512数据集上1.5B参数的训练。论文使用了CIFAR-10、ImageNet 64x64和ImageNet 512x512数据集进行实验，并取得了较好的成果。

相关研究包括扩散模型和一致性模型的研究，以及连续时间下的生成模型的研究。