Value Gradient Guidance for Flow Matching Alignment

尽管目前已有一些方法可将流匹配模型（一类广受欢迎且高效的生成模型）与人类偏好对齐，但现有方法均未能同时实现高效的适应性以及在概率意义上严格保持原有先验分布。在本研究中，我们借助最优控制理论，提出了VGG-Flow——一种基于梯度匹配的预训练流匹配模型微调方法。该算法的核心思想在于：微调后的速度场与预训练速度场之间的最优差异，应当与某个价值函数的梯度场相匹配。该方法不仅融入了来自奖励模型的一阶信息，还通过价值函数的启发式初始化，实现了快速适应。实验表明，在流行的文本到图像流匹配模型Stable Diffusion 3上，我们的方法能够在计算资源有限的情况下有效微调流匹配模型，同时实现良好的对齐效果并保持原始先验分布。

论文试图解决在对流匹配模型（flow matching models）进行人类偏好对齐时，现有方法难以同时实现高效的适应性和概率上合理的先验保持的问题。尽管已有方法能引入偏好信号，但往往破坏了预训练模型的先验分布或计算成本过高。这是一个当前生成模型对齐领域中的关键挑战，尤其在文本到图像生成等高维场景中更为突出。

提出VGG-Flow，一种基于最优控制理论和梯度匹配的微调方法。其核心思想是：微调后的速度场与预训练速度场之间的最优差异应等于某个价值函数的梯度场。这种方法不仅利用奖励模型的一阶信息，还通过启发式初始化价值函数来加速适应过程，在保持生成轨迹合理性的同时实现高效对齐。相比现有方法，该思路将控制理论与生成建模结合，提供了更原则性的微调框架。

在Stable Diffusion 3这一主流文本到图像流匹配模型上进行了验证，实验表明VGG-Flow能在有限计算预算下实现有效且先验保留的对齐效果。实验设计涵盖了不同规模的微调设置，并对比了多个基线方法以证明其优越性。论文强调了方法的适应效率和理论一致性，但未明确提及代码是否开源。未来可深入研究价值函数的具体参数化形式、扩展至多模态对齐以及与其他控制策略的融合。

1. Preference Learning for Flow-Based Generative Models via Reward-Weighted Trajectories 2. Aligning Diffusion Models with Human Preferences using Reinforcement Learning 3. ControlVAE: Optimal Control Meets Variational Inference for Conditional Generation 4. Feedback Diffusion Models: Integrating Human Feedback into Diffusion Processes 5. Training-Free Preference Alignment for Diffusion Models through Gradient Guidance