- 简介尽管流匹配和扩散模型已成为生成连续变量(如图像和视频)的强大生成范式,但它们在生成高维离散数据(如语言)方面的应用仍然有限。在本文中,我们提出了离散流匹配(Discrete Flow Matching),这是一种专门设计用于生成离散数据的新型离散流范式。离散流匹配提供了几个关键贡献:(i)它可以使用在源分布和目标分布之间插值的一般概率路径族;(ii)它允许使用学习后验概率(如概率去噪器($x$-prediction)和噪声预测($\epsilon$-prediction))的通用公式从这些概率路径中进行采样;(iii)实际上,专注于使用不同调度程序定义的特定概率路径,相比以前的离散扩散和流模型,可以显着提高生成的困惑度;(iv)通过将离散流匹配模型扩展到17亿个参数,我们在HumanEval上达到了6.7% Pass@1和13.4% Pass@10,在1-shot MBPP编码基准测试上达到了6.7% Pass@1和20.6% Pass@10。我们的方法能够以非自回归的方式生成高质量的离散数据,显著缩小了自回归模型和离散流模型之间的差距。
- 图表
- 解决问题本论文试图解决离散数据生成中的问题,提出了一种新的离散流匹配模型。
- 关键思路论文提出了一种离散流匹配模型,可以生成高质量的离散数据,且不需要使用自回归模型。该模型使用一般的概率路径来插值源和目标分布,通过学习后验概率和噪声预测来采样这些概率路径,从而实现生成离散数据。
- 其它亮点该模型在1.7B参数的规模下,能够达到较高的性能,取得了6.7% Pass@1和13.4% Pass@10的HumanEval结果,以及6.7% Pass@1和20.6% Pass@10的1-shot MBPP编码基准结果。此外,该模型还可以通过不同的调度程序定义特定的概率路径,从而大大提高生成困惑度。
- 近期的相关研究包括PixelCNN、PixelRNN、Glow等。
沙发等你来抢
去评论
评论
沙发等你来抢