Unisolver: PDE-Conditional Transformers Are Universal PDE Solvers

最近，深度模型作为解决偏微分方程（PDE）的有希望工具已经出现，被称为神经PDE求解器。虽然从模拟数据或物理知识损失训练的神经求解器可以相当好地解决PDE，但它们主要受限于特定的一组PDE，例如某个方程或有限的系数集。这个瓶颈限制了神经求解器的通用性，而这被广泛认为是它相对于数值求解器的主要优势。在本文中，我们提出了通用PDE求解器（Unisolver），它可以通过利用在不同数据上预训练的Transformer和在不同PDE上进行条件化来解决各种PDE。Unisolver不是简单地扩大数据和参数，而是源自对PDE求解过程的理论分析。我们的关键发现是，PDE解决方案基本上受一系列PDE组件的控制，例如方程符号、系数以及初始和边界条件。受到PDE的数学结构的启发，我们定义了一组完整的PDE组件，并将它们相应地嵌入为Transformer PDE求解器的域条件（例如方程符号）和点条件（例如边界）。将物理见解与最近的Transformer进展相结合，Unisolver在三个具有挑战性的大规模基准测试中实现了一致的最先进结果，展现了令人印象深刻的收益，并赋予了良好的通用性和可扩展性。

本论文旨在解决神经PDE求解器的泛化性问题，提出了一种通用的PDE求解器(Unisolver)，可以处理各种PDE方程，从而提高求解器的泛化性和可扩展性。

Unisolver通过预训练Transformer模型，并基于PDE的数学结构定义完整的PDE组件，将其作为条件输入到Transformer PDE求解器中，从而实现了对各种PDE方程的求解。

论文通过实验在三个具有挑战性的大规模基准测试中展示了Unisolver的一致性最新结果，表现出令人印象深刻的增益和有利的泛化性和可扩展性。论文还开源了代码。

近期的相关研究包括使用深度学习求解PDE的方法，例如使用物理知识指导的PDE求解器和使用神经网络拟合PDE解的方法。