Discrete Flow Matching

尽管流匹配和扩散模型已成为生成连续变量（如图像和视频）的强大生成范式，但它们在生成高维离散数据（如语言）方面的应用仍然有限。在本文中，我们提出了离散流匹配（Discrete Flow Matching），这是一种专门设计用于生成离散数据的新型离散流范式。离散流匹配提供了几个关键贡献：（i）它可以使用在源分布和目标分布之间插值的一般概率路径族；（ii）它允许使用学习后验概率（如概率去噪器（$x$-prediction）和噪声预测（$\epsilon$-prediction））的通用公式从这些概率路径中进行采样；（iii）实际上，专注于使用不同调度程序定义的特定概率路径，相比以前的离散扩散和流模型，可以显着提高生成的困惑度；（iv）通过将离散流匹配模型扩展到17亿个参数，我们在HumanEval上达到了6.7% Pass@1和13.4% Pass@10，在1-shot MBPP编码基准测试上达到了6.7% Pass@1和20.6% Pass@10。我们的方法能够以非自回归的方式生成高质量的离散数据，显著缩小了自回归模型和离散流模型之间的差距。

本论文试图解决离散数据生成中的问题，提出了一种新的离散流匹配模型。

论文提出了一种离散流匹配模型，可以生成高质量的离散数据，且不需要使用自回归模型。该模型使用一般的概率路径来插值源和目标分布，通过学习后验概率和噪声预测来采样这些概率路径，从而实现生成离散数据。

该模型在1.7B参数的规模下，能够达到较高的性能，取得了6.7% Pass@1和13.4% Pass@10的HumanEval结果，以及6.7% Pass@1和20.6% Pass@10的1-shot MBPP编码基准结果。此外，该模型还可以通过不同的调度程序定义特定的概率路径，从而大大提高生成困惑度。

近期的相关研究包括PixelCNN、PixelRNN、Glow等。