How to build a consistency model: Learning flow maps via self-distillation

基于Boffi等人（2024）提出的框架，我们提出了一种系统化的方法，用于学习与流模型和扩散模型相关的流映射。以流映射为基础的模型，通常被称为一致性模型，涵盖了近期通过求解微分方程来提升生成模型效率的努力。通过利用连续时间流背后的 velocity field（速度场）与流映射瞬时变化率之间的关系，我们展示了如何通过自蒸馏将现有的知识蒸馏方案转化为直接训练算法，从而消除了对预训练模型的需求。我们对框架的多种实例进行了实证评估，发现对于图像合成等高维任务，避免使用流映射的时间和空间导数的目标函数能够带来更好的效果；而对于低维任务，包含高阶导数的目标函数则有助于捕捉更尖锐的特征。

该论文试图解决如何通过学习流映射（flow maps）来提高基于微分方程的生成模型（如扩散模型和流模型）的效率。这是一个相对较新的问题，主要集中在优化连续时间流模型的训练过程，并减少对预训练模型的依赖。

论文的关键思路是利用连续时间流的速度场与流映射瞬时变化率之间的关系，将现有的知识蒸馏方法转化为直接训练算法（通过自蒸馏）。这种方法避免了对预训练模型的需求，并针对高维任务（如图像合成）设计了不涉及时空导数的目标函数，同时为低维任务引入了更高阶导数的目标函数以捕捉精细特征。这种思路在生成模型领域中具有创新性，因为它尝试从理论层面改进训练目标函数的设计。

论文通过系统化的实验验证了不同维度任务对目标函数的要求差异，表明高维任务更适合无导数的目标函数，而低维任务可以从包含更高阶导数的目标函数中受益。实验涵盖了多种生成任务，包括图像合成等复杂场景。此外，论文提出了一个通用框架，可以应用于不同的生成模型。目前尚不清楚是否有开源代码，但未来可能值得探索更多关于自蒸馏技术在其他生成模型中的应用以及结合更多任务特性的目标函数设计。

相关研究包括：1) Sohl-Dickstein et al. (2015) 提出的基于微分方程的扩散模型；2) Song and Ermon (2020) 的得分匹配方法及其在扩散模型中的应用；3) Boffi et al. (2024) 提出的连续时间流模型基础理论；4) Ho et al. (2020) 的DDPM模型，这是现代扩散模型的基础之一。此外，近期还有多篇关于加速扩散模型推理的研究，例如Dhariwal and Nichol (2021) 提出的高效采样方法。