Generator Matching: Generative modeling with arbitrary Markov processes

我们引入了生成器匹配，这是一种与模态无关的框架，用于使用任意马尔可夫过程进行生成建模。生成器表征了马尔可夫过程的无穷小演化，我们利用这一点进行生成建模，类似于流匹配的方法：我们构建条件生成器来生成单个数据点，然后学习近似生成整个数据分布的边缘生成器。我们证明生成器匹配统一了各种生成建模方法，包括扩散模型、流匹配和离散扩散模型。此外，它为扩展设计空间到新的和未探索的马尔可夫过程（如跳跃过程）提供了基础。最后，生成器匹配使得可以构建马尔可夫生成过程的叠加，并能够以严格的方式构建多模态模型。我们在蛋白质结构和图像结构生成上对我们的方法进行了实证验证，结果显示，与跳跃过程的叠加可以改善图像生成效果。

该论文试图通过引入一个模态无关的生成建模框架——生成器匹配，来解决如何利用任意马尔可夫过程进行高效生成模型构建的问题。这是一个新的尝试，旨在统一和扩展现有的生成模型方法。

关键思路是利用生成器来描述马尔可夫过程的瞬时演化，并通过构建条件生成器生成单个数据点，然后学习近似生成整个数据分布的边际生成器。这种方法不仅统一了扩散模型、流匹配和离散扩散模型等现有方法，还为探索新的马尔可夫过程（如跳跃过程）提供了基础。

论文展示了生成器匹配可以用于构建多模态模型，并且通过在蛋白质和图像结构生成任务上的实验证明了其有效性。特别是，通过与跳跃过程的叠加，图像生成的质量得到了显著提升。此外，论文提供了开源代码，方便其他研究者复现和进一步探索。

近期在这个领域中，相关的研究包括：1)《Score-Based Generative Modeling through Stochastic Differential Equations》；2)《Flow Matching for Generative Modeling》；3)《Discrete Denoising Diffusion Models》。这些研究分别从不同的角度探讨了生成模型的方法和技术，而生成器匹配则提供了一个更通用的框架来整合这些方法。