Fisher Flow Matching for Generative Modeling over Discrete Data

最近，离散数据的生成建模取得了许多成功，应用范围涵盖了语言建模、生物序列设计和图形分子数据等领域。离散数据的主要生成建模范式仍然是自回归模型，最近的基于扩散或流匹配的替代模型在连续数据设置中的表现仍然不如自回归模型，例如图像或视频生成。在本文中，我们介绍了Fisher-Flow，这是一种新的离散数据流匹配模型。Fisher-Flow采用明显的几何视角，将离散数据上的分类分布视为驻留在具有其自然黎曼度量的统计流形上的点：Fisher-Rao度量。因此，我们证明离散数据本身可以连续地重新参数化为$d$-超球面$\mathbb{S}^d_+$上的点，这使我们能够定义流，通过沿着$\mathbb{S}^d_+$的测地线（闭合形式）传输质量，以原则性地将任何源分布映射到目标分布。此外，Fisher-Flow中学习到的流可以通过利用黎曼最优传输进一步引导，从而改善训练动态。我们证明Fisher-Flow引起的梯度流在减少前向KL散度方面是最优的。我们在一系列合成和多样化的真实基准测试中评估了Fisher-Flow，包括设计DNA启动子和DNA增强子序列。实证结果表明，Fisher-Flow在这些基准测试中的表现优于以前的扩散和流匹配模型。

论文旨在解决离散数据的生成建模问题，提出了一种新的基于流匹配的模型Fisher-Flow。

Fisher-Flow将离散数据看作是分布在统计流形上的点，利用Fisher-Rao度量将其映射到$d$-超球面的正半轴上，并定义了流来实现任意分布之间的转换。此外，该模型还利用了Riemannian最优传输来提高训练动态。

论文在合成数据和真实数据集上进行了实验评估，包括设计DNA Promoter和DNA Enhancer序列。实验结果表明，Fisher-Flow在这些基准测试上优于先前的扩散和流匹配模型。

最近的相关研究包括基于自回归、扩散和流匹配的离散数据生成模型。