Towards a Foundation Model for Partial Differential Equations: Multi-Operator Learning and Extrapolation

基础模型，例如大型语言模型，已经证明在解决各种语言和图像处理任务方面取得了成功。在本文中，我们介绍了一种名为PROSE-PDE的面向科学问题的多模态基础模型。我们的模型旨在进行双模态到双模态的学习，是一种多算子学习方法，可以预测时空系统的未来状态，同时学习物理系统的基本方程。具体来说，我们专注于通过训练不同的一维时变非线性常系数偏微分方程来进行多算子学习，该方法在物理应用中具有潜在的应用，包括物理学、地质学和生物学。更重要的是，我们提供了三个外推研究，以证明PROSE-PDE可以通过多个算子的强大训练来推广物理特征，并且所提出的模型可以外推预测PDE解，这些解的模型或数据在训练期间未被看到。此外，我们通过系统的数值实验表明，我们模型中符号模态的利用有效地解决了训练多个算子时的良好性问题，从而增强了我们模型的预测能力。

PROSE-PDE：一种多模态基础模型，用于预测物理系统的未来状态和学习潜在的物理规律。

PROSE-PDE是一种多运算符学习方法，通过训练不同的一维时间相关的非线性常系数偏微分方程来实现双模态到双模态的学习。使用符号模态可以有效地解决多运算符训练中的良好性问题，提高模型的预测能力。

该模型可以预测未来状态和学习潜在的物理规律，具有广泛的应用前景。论文提供了三个外推研究，证明PROSE-PDE可以通过多个运算符的强大训练来泛化物理特征，并且可以外推预测未在训练中看到的PDE解。

最近的相关研究包括基于深度学习的PDE求解器和多模态学习方法。