Divide And Conquer: Learning Chaotic Dynamical Systems With Multistep Penalty Neural Ordinary Differential Equations

预测高维动态系统是各个领域的基本挑战，如地球科学和工程学等。神经常微分方程（NODE）结合了神经网络和数值解算器的优势，已成为预测复杂非线性动态系统的一种有前途的算法。然而，用于NODE训练的传统技术对于学习混沌动态系统是无效的。在本文中，我们提出了一种新颖的NODE训练方法，允许对混沌动态系统进行稳健的学习。我们的方法解决了与混沌动力学相关的非凸性和梯度爆炸的挑战。来自这些系统的训练数据轨迹被分成多个不重叠的时间窗口。除了与训练数据的偏差外，优化损失项还进一步惩罚了预测轨迹在时间窗口之间的不连续性。窗口大小是基于系统的最快Lyapunov时间尺度选择的。多步惩罚（MP）方法首先在Lorenz方程上进行演示，以说明它如何改善损失景观，从而加速优化收敛。MP方法可以优化混沌系统，类似于最小二乘阴影法，计算成本显著降低。我们提出的算法，称为多步惩罚NODE（MP-NODE），应用于混沌系统，如Kuramoto-Sivashinsky方程和二维Kolmogorov流。观察到MP-NODE不仅为短期轨迹预测提供了可行的性能，而且对于这些动态的混沌本质的不变统计量也是如此。

提出了一种新的神经普通微分方程（NODE）训练方法，旨在解决传统技术在学习混沌动力学系统方面的无效性和挑战性问题。

通过将训练数据轨迹分成多个非重叠时间窗口，并惩罚预测轨迹在时间窗口之间的不连续性，结合窗口大小的选择，使用多步惩罚方法（MP）来优化混沌系统。

该算法在 Lorenz 方程、Kuramoto-Sivashinsky 方程和二维 Kolmogorov 流等混沌系统中表现出可行的性能，不仅适用于短期轨迹预测，还适用于这些动力学的混沌特性的不变统计量。

最近的相关研究包括：《Neural Ordinary Differential Equations for Time Series Forecasting: A Survey》、《Exploring the Limits of Using a Deep Neural Network for Autonomous Driving》、《Neural Ordinary Differential Equations with Parameter Adaptation for Solving Forward and Inverse Problems》等。