Text-to-Image Rectified Flow as Plug-and-Play Priors

大规模扩散模型在生成任务中取得了显著的表现。除了最初的训练应用之外，这些模型已经证明了它们作为多功能即插即用先验的能力。例如，2D扩散模型可以作为损失函数来优化3D隐式模型。修正流是一种新型的生成模型，它强制实现从源分布到目标分布的线性进展，并在各个领域展示了优越的性能。与基于扩散的方法相比，修正流方法在生成质量和效率方面都表现更好，需要更少的推理步骤。在这项工作中，我们提供理论和实验证据，证明了基于修正流的方法提供了类似于扩散模型的功能-它们也可以作为有效的先验。除了扩散先验的生成能力外，受到修正流模型独特的时间对称性质的启发，我们的一种方法的变体还可以执行图像反演。在实验中，我们基于修正流的先验在文本到3D生成中优于扩散对应物-SDS和VSD损失。我们的方法还在图像反演和编辑方面显示出竞争性的性能。

论文旨在探讨使用基于rectified flow的先验作为生成任务的插件，以及探索其在图像反演和编辑中的应用。

使用基于rectified flow的先验作为生成任务的插件，具有与diffusion模型相似的功能，并且在图像反演和编辑方面具有竞争力的表现。

论文提供了理论和实验证据，证明了基于rectified flow的先验在生成任务中的有效性，并且在图像反演和编辑方面表现出竞争力。实验使用了文本到3D生成任务，并与SDS和VSD损失进行了比较。论文还提供了开源代码。

最近的相关研究包括使用diffusion模型作为先验的生成模型，以及其他基于flow的生成模型，如RealNVP和Glow。