SDE Matching: Scalable and Simulation-Free Training of Latent Stochastic Differential Equations

潜在的随机微分方程（SDE）是时间序列和序列建模的强大工具。然而，训练潜在SDE通常依赖于伴随敏感性方法，这些方法依赖于模拟和通过近似的SDE解进行反向传播，这限制了其可扩展性。在本工作中，我们提出了一种新的无需模拟的训练潜在SDE的方法——SDE匹配。受现代评分匹配和流匹配算法用于学习生成动力学的启发，我们将这些思想扩展到时间序列和序列建模的随机动力学领域，消除了对昂贵数值模拟的需求。我们的结果表明，SDE匹配在显著降低计算复杂度的同时，实现了与伴随敏感性方法相当的性能。

该论文试图解决Latent SDE（隐式随机微分方程）在时间序列和序列建模中的训练效率问题。传统方法依赖于伴随敏感性方法，这些方法需要通过近似SDE解进行模拟和反向传播，导致计算成本高昂且难以扩展。这是一个现有问题，但论文提出了一种新的解决方案。

关键思路是引入了一种名为SDE Matching的新方法，该方法无需模拟即可训练Latent SDEs。此方法受到现代Score-和Flow Matching算法的启发，将这些概念扩展到用于时间序列和序列建模的随机动力学领域，从而消除了对昂贵数值模拟的需求。相比当前研究，SDE Matching显著降低了计算复杂度，同时保持了与伴随敏感性方法相当的性能。

论文的亮点包括：1) 提出了一种完全无模拟的训练方法，极大地减少了计算资源需求；2) 实验结果表明，SDE Matching在多个基准测试中达到了与传统方法相当的性能；3) 研究使用了多种公开数据集，并且代码已开源，方便后续研究者复现和改进；4) 论文还讨论了未来可以进一步探索的方向，例如将SDE Matching应用于更复杂的动态系统。

最近在这个领域的相关研究包括：1) 使用神经网络求解SDE的Neural SDEs；2) 结合生成对抗网络（GANs）与SDE的Generative Adversarial SDEs；3) 利用变分推理优化SDE模型的Variational Inference for SDEs。一些相关研究的论文标题有《Neural Stochastic Differential Equations: Deep Latent Gaussian Models in the Diffusion Limit》、《Generative Modeling Using the Sliced Wasserstein Distance》和《Variational Inference with Normalizing Flows》。