Mean Flows for One-step Generative Modeling

我们提出了一种原则性且高效的一步生成模型框架。我们引入了“平均速度”的概念来刻画流场，这与流动匹配方法所建模的瞬时速度形成对比。我们推导出了平均速度和瞬时速度之间明确的等价关系，并利用这一关系指导神经网络的训练。我们的方法被称为 MeanFlow 模型，它是一个自包含的框架，无需预训练、知识蒸馏或课程学习。MeanFlow 展现了强大的经验性能：在从零开始训练的 ImageNet 256x256 数据集上，仅通过一次函数评估（1-NFE），它实现了 3.43 的 FID 分数，显著超越了之前最先进的一步扩散/流模型。我们的研究大幅缩小了一步扩散/流模型与其多步前辈之间的差距，我们希望这项工作能够激励未来的研究重新审视这些强大模型的基础。

论文试图解决生成模型中单步生成能力不足的问题，特别是如何通过更高效的建模方法来缩小单步扩散/流模型与多步模型之间的性能差距。这是一个具有挑战性的问题，因为单步模型通常需要在效率和质量之间找到平衡。

论文提出了一种名为MeanFlow的新框架，引入了平均速度的概念来表征流场，区别于现有Flow Matching方法使用的瞬时速度。通过推导平均速度与瞬时速度之间的数学关系，指导神经网络的训练过程。该方法无需预训练、知识蒸馏或课程学习，是一种完全自包含的解决方案。

实验表明，MeanFlow仅需一次函数评估（1-NFE）即可在ImageNet 256x256数据集上实现FID 3.43的成绩，显著优于其他单步扩散/流模型。此外，论文从理论和实证两方面验证了平均速度的有效性，并为未来研究提供了新的视角。目前尚不清楚代码是否开源，但其方法论值得进一步探索和优化。

相关工作包括但不限于：1) "Score-based Generative Modeling through Stochastic Differential Equations" 提出了基于分数的生成模型；2) "Flow Matching for Generative Modeling" 引入了瞬时速度建模的思想；3) "Denoising Diffusion Probabilistic Models" 是经典的多步扩散模型研究。这些研究共同构成了生成模型领域的理论基础，而MeanFlow则尝试从新的角度改进单步生成模型的性能。