Categorical Flow Matching on Statistical Manifolds

我们介绍了一种新颖且数学严谨的流匹配框架——统计流匹配（SFM），它基于信息几何学的结果，在参数化概率测度流形上实现。我们通过在范畴分布流形上实例化SFM来展示我们方法的有效性，这个流形的几何特性在之前的离散生成模型中尚未被探索。利用费舍尔信息度量，我们为流形配备了黎曼结构，其内在几何特性通过遵循测地线的最短路径得到有效利用。我们开发了一种高效的训练和采样算法，通过流形之间的微分同胚克服了数值稳定性问题。我们独特的统计流形几何视角使我们能够在训练过程中应用最优传输，并将SFM解释为遵循自然梯度的最陡方向。与之前依赖变分下界进行似然估计的模型不同，SFM可以对任意概率测度进行精确的似然计算。我们证明，SFM可以在统计流形上学习更复杂的模式，而现有模型往往因为强烈的先验假设而失败。针对图像、文本和生物领域的真实生成任务的全面实验进一步证明，SFM比其他离散扩散或基于流的模型具有更高的采样质量和似然性。

本论文旨在提出一种新的、基于信息几何的流匹配框架，解决离散生成问题。同时，论文也试图探索之前未被研究的分类分布流形的几何属性。

论文提出了一种基于参数化概率测度流形的统计流匹配方法，利用Fisher信息度量为流形赋予了黎曼结构，并通过沿浸入流形之间的微分同胚的最短路径来利用其内在几何结构。同时，论文还开发了一种高效的训练和采样算法，利用最优输运将SFM解释为自然梯度的最陡方向。

论文的亮点包括：1. 提出了一种新的、基于信息几何的流匹配框架，解决离散生成问题；2. 利用Fisher信息度量为流形赋予了黎曼结构，并通过沿最短路径来利用其内在几何结构；3. 开发了一种高效的训练和采样算法，利用最优输运将SFM解释为自然梯度的最陡方向；4. 在图像、文本和生物领域的实际生成任务中，SFM实现了比其他离散扩散或基于流的模型更高的采样质量和似然度。

最近在这个领域中，还有一些相关的研究，如：1. Masked Autoregressive Flow (MAF)；2. Non-Linear Independent Components Estimation (NICE)；3. RealNVP；4. Glow；5. Discrete Flows；6. Normalizing Flows for Discrete Data。