Switched Flow Matching: Eliminating Singularities via Switching ODEs

连续时间生成模型（如Flow Matching (FM)）通过神经常微分方程（ODE）的无模拟学习构建概率路径，以在两个分布之间传输。然而，在推断过程中，为了准确地积分流，学习得到的模型通常需要多次神经网络评估，导致采样速度缓慢。我们认为这是源分布和/或目标分布的固有（联合）异质性，即奇异性问题所致，这为有效训练神经ODE带来了挑战。为了解决这个问题，我们提出了一个更通用的框架，称为Switched FM (SFM)，通过切换ODE来消除奇异性，而不是像FM一样使用统一的ODE。重要的是，我们从理论上表明，由于ODE的初始值问题的存在和唯一性，FM无法在两个简单分布之间传输，而这些限制可以通过SFM很好地解决。从另一个角度来看，我们的框架可以与现有的高级技术（如小批量最优传输）无缝集成，以进一步增强流的直线性，从而实现更高效的采样过程并降低成本。我们通过几个数值例子展示了新提出的SFM的有效性。

论文旨在解决连续时间生成模型中存在的源分布和目标分布异质性问题，导致采样速度慢的问题。

论文提出了一种新的框架Switched FM (SFM)，通过切换ODEs来消除奇异性，从而提高采样速度。

论文从理论上证明了Flow Matching (FM)无法传输简单分布，而SFM可以解决此类问题。此外，论文还将SFM与现有的技术相结合，如minibatch optimal transport，以进一步提高流的直线性。论文通过多个数值实验验证了SFM的有效性。

最近在这个领域中，还有一些相关的研究，如Neural Ordinary Differential Equations (ODEs)、Flow-based Models等。