- 简介我们提出BézierFlow,一种用于预训练扩散模型和流模型在极少步数下生成样本的轻量级训练方法。BézierFlow在采样步数不超过10(NFEs ≤ 10)的情况下实现了2到3倍的性能提升,且仅需15分钟的训练时间。近期的一些轻量级训练方法通过学习最优时间步长展现出良好前景,但其应用范围仍局限于常微分方程(ODE)的离散化过程。为了拓展这一范围,我们提出通过参数化随机插值(SI)调度器来学习采样轨迹的最优变换。其中的主要挑战在于设计一种能够满足若干关键要求的参数化方式,包括边界条件、可微性以及信噪比(SNR)的单调性。为有效满足这些要求,我们将调度器函数表示为贝塞尔函数(Bézier functions),利用控制点自然地强制实现上述性质。这使得问题简化为在时间范围内学习一组有序的点,而这些点的意义也从原本的ODE时间步转变为贝塞尔控制点。在多种预训练的扩散模型与流模型上,BézierFlow始终优于以往的时间步学习方法,验证了将搜索空间从离散时间步扩展至基于贝塞尔函数的轨迹变换的有效性。
-
- 图表
- 解决问题论文试图解决预训练扩散模型和流模型在极少数采样步数(≤10次函数评估,NFE)下生成质量差的问题。现有的轻量级微调方法虽能通过学习最优ODE离散化时间步提升性能,但仅限于确定性轨迹优化,限制了进一步提升的潜力。这是一个在高效生成领域持续受到关注的问题,尤其在实际部署中对低延迟生成的需求日益增长。
- 关键思路提出BézierFlow,将采样轨迹的调度器参数化为贝塞尔函数,从而学习噪声-信号比(SNR)随时间变化的最优连续路径。与以往仅学习离散时间步的方法不同,该方法将优化空间从离散点扩展到连续轨迹形状的控制,利用贝塞尔曲线天然满足边界条件、可微性和单调性等关键约束,使模型能够更灵活地探索最优采样路径。
- 其它亮点BézierFlow在多种预训练扩散与流模型上实现了2-3倍的性能提升(FID等指标),且仅需15分钟微调,效率极高。实验设计覆盖多个主流生成模型和数据集(如CIFAR-10、ImageNet等),验证了方法的通用性。亮点在于将控制点的学习替代传统时间步搜索,提升了表达能力同时保证数值稳定性。代码已开源,便于复现与应用。值得深入的方向包括将该轨迹参数化思想推广至其他类型生成器或结合自回归模型进行序列生成优化。
- 1. Learning Continuous-Time Representation for Style Transfer 2. Pseudo Numerical Methods for Diffusion Models on Manifolds 3. DPM-Solver: A Fast ODE Solver for Diffusion Probabilistic Model Sampling in Few Steps 4. Analytic-DPM: An Analytic Estimate of the Optimal Reverse Variance in Diffusion Probabilistic Models 5. Timestep-Conditioned Trajectory Optimization for Diffusion Models with Minimal Fine-Tuning
NEW
提问交流
提交问题,平台邀请作者,轻松获得权威解答~
向作者提问

提问交流