Energy Matching: Unifying Flow Matching and Energy-Based Models for Generative Modeling

生成模型通常通过匹配流或分数将噪声映射到数据，但这些方法在结合部分观测值或额外先验时变得复杂且笨重。受最近 Wasserstein 梯度流进展的启发，我们提出了能量匹配（Energy Matching），这是一种将基于流的方法与能量基模型（EBMs）的灵活性统一起来的框架。远离数据流形时，样本沿着无旋的最优传输路径从噪声移动到数据。当它们接近数据流形时，一个熵能项引导系统进入玻尔兹曼平衡分布，明确捕捉数据的底层似然结构。我们用一个单一的时间无关标量场来参数化这一动态过程，该标量场既是一个强大的生成器，也是一个灵活的先验，能够有效正则化逆问题。我们的方法在 CIFAR-10 数据生成任务上显著优于现有的 EBM 方法（FID 3.97 对比 8.61），同时保留了远离数据流形时基于传输方法的无需模拟训练特性。此外，我们利用该方法的灵活性，引入了一种交互能量以探索多样化的模式。我们的方法专注于学习一个静态的标量势能——无需时间条件、辅助生成器或额外网络，这与近期的 EBM 方法有显著不同。我们认为，这种简化的框架极大地提升了 EBM 的能力，并为其在多样化领域生成建模中的更广泛应用铺平了道路。

论文试图解决生成模型在处理部分观测数据或结合额外先验时的灵活性不足问题。这是一个已有问题，但目前的方法（如基于流或分数匹配的模型）在处理这些情况时变得复杂且效率低下。

论文提出了一种名为Energy Matching的新框架，该框架结合了最优传输路径和能量基模型（EBM）的优势。通过引入单一的时间无关标量场作为动态参数化，方法能够同时实现从噪声到数据的高效映射，并在接近数据流形时引导系统进入Boltzmann平衡分布。这种方法避免了时间条件化、辅助生成器或额外网络的需求，显著简化了EBM的设计。

1. 在CIFAR-10生成任务中，FID得分达到3.97，优于现有EBM方法（8.61）。2. 提出了交互能量项以支持多模式探索。3. 方法保留了远离数据流形时无需模拟训练的特点。4. 论文代码尚未提及开源状态，但其实验设计涵盖了图像生成和逆问题正则化等多个场景。值得进一步研究的方向包括扩展到更高分辨率图像和其他模态数据集上的应用。

近期相关研究包括：1. 'Score-Based Generative Modeling through Stochastic Differential Equations'，提出了基于分数的生成建模方法；2. 'Wasserstein Gradient Flows for Machine Learning'，探讨了Wasserstein距离在机器学习中的应用；3. 'Learning Implicit Generative Models with the Method of Learned Moments'，使用隐式生成模型进行学习。此外，还有其他关于EBM改进的研究，例如增强采样效率和稳定性的工作。