Learning System Dynamics without Forgetting

在各个研究领域中，包括物理和生物学，预测具有未知动力学（即支配规则）的系统的轨迹至关重要。这个挑战引起了不同社区的广泛关注。大多数现有的工作集中在学习单个系统内的固定系统动力学上。然而，现实世界中的应用通常涉及具有不同类型动力学或具有非平稳动力学（动力学转移）的多个系统。当这些系统的数据被不断收集并顺序馈送到机器学习模型进行训练时，这些模型往往会偏向于最近学习的动力学，导致先前观察/学习的系统动力学的灾难性遗忘。为此，我们旨在通过持续学习来学习系统动力学。具体而言，我们提出了一种新颖的模式切换图ODE（MS-GODE）框架，它可以持续学习不同的动力学，并将系统特定的动力学编码为模型参数的二进制掩码。在推理阶段，模型可以基于观察数据选择最自信的掩码来识别系统，并相应地预测未来轨迹。在经验上，我们系统地研究了任务配置，并将所提出的MS-GODE与最先进的技术进行了比较。更重要的是，我们构建了一个新颖的生物动态系统基准，其中包含具有不同动力学的多种系统，并显著丰富了机器学习动态系统的研究领域。

解决动态系统中连续学习时遗忘先前学习到的动态规律的问题，提出一种能够不断学习变化的动态规律的模型。

提出了一种Mode-switching Graph ODE (MS-GODE)框架，能够将系统特定的动态规律编码成模型参数的二进制掩码，实现动态系统中的连续学习。

论文构建了一个包含多种动态规律的生物动态系统的基准测试集，实验结果表明MS-GODE在这个测试集上表现优异。论文还提供了开源代码。

最近的相关研究主要集中在学习单个动态系统的固定规律上，而该论文提出的MS-GODE框架能够实现动态系统中的连续学习。