Inductive Moment Matching

扩散模型和流匹配模型能够生成高质量的样本，但在推理时速度较慢，而将它们提炼成少步模型通常会导致不稳定和大量的调整。为了解决这些权衡问题，我们提出了归纳矩匹配（Inductive Moment Matching，IMM），这是一种新的生成模型类别，可以在单一阶段的训练过程中实现一步或少数步骤的采样。与知识蒸馏不同，IMM不需要预训练初始化和优化两个网络；而且与一致性模型不同，IMM保证了分布级别的收敛性，并在各种超参数和标准模型架构下保持稳定。IMM在仅使用8个推理步骤的情况下，在ImageNet-256x256上超越了扩散模型，FID得分为1.99，并且在从头训练的模型中，在CIFAR-10上实现了最先进的两步FID得分1.98。

论文试图解决扩散模型和流匹配模型在生成高质量样本时推理速度慢的问题，以及将这些模型简化为少数步骤模型时导致的不稳定性和需要大量调整的问题。这是一个现有问题，旨在提高生成模型的效率和稳定性。

关键思路是提出了一种新的生成模型类别——归纳矩匹配（Inductive Moment Matching, IMM），该模型能够在单阶段训练过程中实现一或几步采样。IMM不需要预训练初始化和优化两个网络，也不依赖于一致性模型，从而保证了分布级别的收敛，并在不同超参数和标准模型架构下保持稳定。相比现有方法，IMM提供了更简单、高效的解决方案。

IMM在ImageNet-256x256数据集上仅用8个推理步骤就超过了扩散模型，FID得分为1.99；在CIFAR-10数据集上，IMM实现了从零开始训练的两步FID得分1.98，达到当前最佳水平。此外，IMM避免了蒸馏方法中的复杂性，提供了一个稳定的训练过程，适用于多种模型架构。实验设计包括与扩散模型和其他生成模型的比较，使用了标准的数据集如ImageNet和CIFAR-10。值得继续研究的方向包括进一步优化IMM的性能和扩展其应用领域。

最近在这个领域中，相关的研究包括但不限于： 1. "Consistency Models" 提出了一致性模型来改进生成模型的稳定性和质量。 2. "Score-based Generative Modeling through Stochastic Differential Equations" 探讨了基于分数的生成建模。 3. "Denoising Diffusion Probabilistic Models" 深入研究了去噪扩散概率模型及其应用。 4. "Flow Matching for Efficient Generative Modeling" 探索了流匹配技术以提高生成模型的效率。