Unified Continuous Generative Models

近期在连续生成模型方面的进展令人瞩目，其中包括多步方法（如扩散模型和流匹配模型，通常需要 8-1000 步采样）以及少步方法（如一致性模型，通常只需 1-8 步）。尽管这些方法展现出卓越的生成性能，但现有研究往往将它们视为不同的范式，从而导致训练和采样方法的分离。我们提出了一种统一的框架，用于训练、采样和分析这些模型。我们的实现，即统一连续生成模型训练器和采样器（UCGM-{T,S}），达到了最先进的性能（SOTA）。例如，在 ImageNet 256x256 数据集上使用一个 6.75 亿参数的扩散变压器模型时，UCGM-T 能够训练出一个多步模型，在 20 步内达到 1.30 的 FID 分数，并训练出一个少步模型，在仅 2 步内达到 1.42 的 FID 分数。此外，将 UCGM-S 应用于一个预训练模型（之前在 250 步时 FID 为 1.26），可以将性能提升至仅需 40 步即可达到 1.06 的 FID 分数。代码可在以下地址获取：https://github.com/LINs-lab/UCGM。

论文试图解决连续生成模型领域中多步和少步方法分离的问题，即当前的多步方法（如扩散模型）和少步方法（如一致性模型）通常被视为独立范式，导致训练和采样方法割裂。这是一个新问题，因为它首次尝试通过统一框架整合这些不同的生成模型范式。

论文提出了一种名为UCGM-T/S的统一框架，用于同时支持多步和少步生成模型的训练与采样。这一框架的核心思路是将不同类型的连续生成模型纳入同一理论体系，并通过优化目标函数和采样策略实现性能提升。相比现有研究，该方法不仅能够灵活适应不同步数的生成需求，还能显著提高生成质量（如FID指标）。

1. 在ImageNet 256x256数据集上展示了卓越性能：使用675M参数的扩散Transformer，分别在20步和2步内达到1.30和1.42的FID；对预训练模型进行改进后，在仅40步内达到1.06 FID。 2. 提供了开源代码（https://github.com/LINs-lab/UCGM），便于复现和进一步研究。 3. 论文设计了对比实验，验证了统一框架在不同步数下的有效性和鲁棒性。 4. 值得继续深入研究的方向包括：如何扩展到更大规模的数据集、探索更高效的训练算法以及将其应用于其他模态（如文本或音频）的生成任务。

最近的相关研究包括： 1. "Improved Techniques for Training Score-based Generative Models" - 提出了改进得分匹配模型的技术。 2. "Consistency Models" - 探索了少步生成模型的可能性。 3. "Denoising Diffusion Probabilistic Models" - 引入了扩散模型的基本框架。 4. "Flow Matching for Generative Modeling" - 研究了基于流匹配的生成模型。这些工作主要集中在特定类型的生成模型上，而UCGM则是首个尝试统一这些方法的研究。