Vectorized Conditional Neural Fields: A Framework for Solving Time-dependent Parametric Partial Differential Equations

Transformer模型越来越多地被用于求解偏微分方程(PDEs)。已经提出了几种改进方法，但它们都存在Transformer典型问题，如二次内存和时间复杂度等。此外，所有主要的PDE求解架构都缺少至少一个理想代理模型的几个理想特性，例如（i）泛化到训练期间未见过的PDE参数，（ii）空间和时间零样本超分辨率，（iii）连续时间外推，（iv）支持1D、2D和3D PDEs，以及（v）更长时间滚动的高效推断。为了解决这些限制，我们提出了向量化条件神经场(VCNeFs)，将时变PDE的解表示为神经场。与之前的方法不同，VCNeFs可以并行计算多个时空查询点的解，并通过注意机制建模它们之间的依赖关系。此外，VCNeF可以将神经场条件化为PDE的初始条件和参数。一系列广泛的实验表明，VCNeFs与现有的基于机器学习的代理模型相比具有竞争力，并且通常表现更好。

本论文旨在解决使用Transformer模型解决偏微分方程（PDE）时所面临的问题，如二次内存和时间复杂度等，并且提出了一种新的解决方案。

本文提出了一种新的解决方案：使用Vectorized Conditional Neural Fields（VCNeFs）将PDE的解表示为神经场，通过注意机制计算多个时空查询点的解，并且可以将神经场条件化为初始条件和PDE参数。

本文的亮点包括：VCNeFs可以处理1D、2D和3D PDEs，并且支持连续时间外推、零样本超分辨率等理想代理模型的多个理想属性。通过一系列实验，VCNeFs在与现有的机器学习代理模型的竞争中表现出色，并且常常超越它们。论文还提供了数据集和代码。

最近在这个领域的相关研究包括：Transformer模型用于解决PDE的各种改进方法，以及其他基于机器学习的代理模型。