On the Closed-Form of Flow Matching: Generalization Does Not Arise from Target Stochasticity

现代深度生成模型如今能够产生高质量的合成样本，这些样本常常与真实训练数据难以区分。越来越多的研究致力于理解为什么近期的方法（例如扩散模型和流匹配技术）能够如此有效地泛化。在提出的解释中，包括深度学习架构的归纳偏置以及条件流匹配损失的随机性质。在这项工作中，我们排除了后者——即损失函数的噪声特性——作为流匹配中泛化的主因。首先，我们通过实验证明，在高维设置下，流匹配损失的随机版本和闭式版本几乎产生相同的损失值。接着，利用最先进的流匹配模型在标准图像数据集上进行实验，我们展示了这两种变体均能达到相当的统计性能，并且令人惊讶的是，使用闭式版本甚至可以提升性能。

该论文试图探讨并验证扩散模型和流匹配技术中，随机损失函数是否是其良好泛化性能的主要原因。这是一个针对现有理论假设的具体验证问题，而非全新的研究方向。

论文的关键思路是通过实验比较随机版本和闭式版本的流匹配损失函数在高维设置下的表现，以排除噪声性质对泛化的贡献。相比以往的研究，本文直接挑战了随机性作为泛化核心因素的假设，并提出闭式公式可能进一步提升性能。

论文设计了对比实验，使用高维数据集验证两种损失形式的表现，并发现闭式公式甚至能改善性能。实验基于标准图像数据集（如MNIST、CIFAR-10等），但未提及代码开源情况。未来可深入研究闭式公式的优化潜力及更广泛的适用场景。

近期相关研究包括：1)《Score-Based Generative Modeling through Stochastic Differential Equations》探讨分数匹配与扩散模型的关系；2)《Flow Matching for Generative Modeling》首次提出流匹配方法；3)《On the Generalization of Neural Networks in High Dimensions》分析深度学习模型在高维空间中的泛化特性。