GLASS Flows: Transition Sampling for Alignment of Flow and Diffusion Models

通过使用奖励对齐算法，流匹配模型和扩散模型在推理阶段的性能可以得到显著提升，但效率问题仍然是一个主要限制。尽管已有多种算法被提出，但我们发现这些算法所依赖的采样方法存在一个共同的瓶颈：许多算法需要通过随机微分方程（SDE）采样来生成马尔可夫转移过程，这种方法的效率明显较低，且性能通常不如常微分方程（ODE）采样。为了消除这一瓶颈，我们提出了GLASS Flows，这是一种全新的采样范式，通过在一个流匹配模型内部模拟“另一个流匹配模型”来实现马尔可夫转移的采样。本文表明，这种“内层”流匹配模型可以直接从预训练模型中提取，无需任何再训练，从而将ODE的高效性与SDE的随机演化特性结合起来。在大规模文本到图像生成模型上的实验表明，GLASS Flows成功消除了随机演化与推理效率之间的权衡。结合费曼-卡茨导向（Feynman-Kac Steering）方法，GLASS Flows进一步提升了文本到图像生成任务的最先进性能，成为一种简单且可直接集成的解决方案，适用于流模型和扩散模型在推理阶段的性能扩展。

在流匹配和扩散模型的推理过程中，尽管奖励对齐算法可以显著提升生成性能，但其效率受限于依赖SDE采样的马尔可夫转移过程。SDE采样计算成本高、速度慢，而更高效的ODE采样通常缺乏必要的随机性，导致性能下降。因此，如何在保持高效推理的同时保留有益的随机演化成为关键瓶颈问题。

提出GLASS Flows，一种新的采样范式，通过在预训练的流匹配模型内部构建一个无需重新训练的‘内层流匹配模型’来模拟马尔可夫转移，从而用ODE级别的效率实现SDE般的随机演化。该方法实现了高效（ODE）与高性能（SDE）的统一，解决了效率与生成质量之间的权衡问题。

实验在大规模文本到图像生成模型上进行，验证了GLASS Flows结合Feynman-Kac Steering能显著提升当前最先进模型的生成质量；方法为即插即用设计，无需微调或重训练；代码已开源，具备良好的可扩展性和实用性；为未来研究提供了无需SDE即可实现随机动力系统建模的新方向。

1. Flow Matching as a Principled Framework for Score-Based Generative Modeling 2. Denoising Diffusion Probabilistic Models 3. Score-Based Generative Modeling through Stochastic Differential Equations 4. Improved Denoising Diffusion Probabilistic Models 5. Feynman-Kac Formulas for Stochastic Steering in Diffusion Models