Unisolver: PDE-Conditional Transformers Are Universal PDE Solvers

深度模型最近作为解决偏微分方程(PDEs)的有希望工具出现，被称为神经PDE求解器。虽然从模拟数据或物理信息损失训练的神经求解器可以合理地解决PDEs，但它们主要局限于特定的一组PDEs，例如某个方程或有限的系数集。这个瓶颈限制了神经求解器的泛化能力，而泛化能力被广泛认为是它相对于数值求解器的主要优势。在本文中，我们提出了通用PDE求解器(Unisolver)，它能够通过利用在不同数据上预训练的Transformer和在不同PDEs上的条件来解决广泛的PDEs。Unisolver不是简单地扩展数据和参数，而是源自PDE求解过程的理论分析。我们的关键发现是，PDE解决方案基本上受一系列PDE组件的控制，例如方程符号、系数以及初始和边界条件。受PDE的数学结构启发，我们定义了一个完整的PDE组件集，并相应地将它们作为Transformer PDE求解器的域条件(例如方程符号)和点条件(例如边界)进行嵌入。将物理见解与最近的Transformer进展相结合，Unisolver在三个具有挑战性的大规模基准测试中实现了一致的最新结果，显示出惊人的增益，并赋予了有利的泛化能力和可扩展性。

本文旨在解决神经PDE求解器的泛化性问题，提出了一种能够解决广泛的PDE的通用PDE求解器(Unisolver)。

通过在Transformer上进行预训练，结合物理知识和最近的Transformer进展，将PDE分解为一系列PDE组件，并将它们作为条件嵌入到Transformer PDE求解器中，从而实现对广泛PDE的求解。

实验结果表明，Unisolver在三个具有挑战性的大型基准测试中均取得了一致的最先进结果，具有良好的泛化性和可扩展性。该论文的方法提供了一种全新的思路，可以解决现有神经PDE求解器所面临的泛化性问题。

最近在这个领域中，还有一些相关的研究，例如“Neural Operator”，“NeuralPDE”，“PINN”等。