Linearization Turns Neural Operators into Function-Valued Gaussian Processes

建模动力学系统，例如气候和工程科学，通常需要解决偏微分方程。神经算子是深度神经网络，旨在从数据中学习这些微分方程的非平凡解算子。对于所有统计模型而言，这些模型的预测都是不完美的，并且存在误差。这种误差在动力学系统的复杂非线性行为中特别难以发现。我们介绍了一种新的框架，使用函数值高斯过程在神经算子中进行近似贝叶斯不确定性量化。我们的方法可以解释为函数式编程中柯里化概念的概率类比，并提供了一种实用但理论上可靠的方法，将线性化拉普拉斯近似应用于神经算子。在对傅里叶神经算子进行案例研究时，我们表明，即使对于离散化的输入，我们的方法也产生了高斯闭包——一个结构化的高斯过程后验，捕捉神经算子输出函数中的不确定性，可以在任意一组点上进行评估。该方法增加了最小的预测开销，可以在不重新训练神经算子的情况下后期应用，并且可以扩展到大型模型和数据集。我们通过对不同类型的偏微分方程应用来展示我们方法的有效性。

本论文旨在提出一种新的方法来对神经算子模型中的不确定性进行贝叶斯近似量化，并通过函数值高斯过程来实现这一目标。这个方法能够应用于解决偏微分方程的问题。

本论文提出的方法是在神经算子模型中应用函数值高斯过程来对模型输出的不确定性进行建模。这种方法可以被解释为函数式编程中currying概念的概率学类比，并提供了一种实用而理论上可靠的方法来将线性Laplace逼近应用于神经算子模型。

本论文的亮点包括：1.提出了一种新的方法来对神经算子模型中的不确定性进行贝叶斯近似量化；2.提出的方法可以被解释为函数式编程中currying概念的概率学类比；3.使用傅里叶神经算子作为案例研究，并展示了该方法的有效性；4.本方法的预测开销最小，可以在不重新训练神经算子模型的情况下应用；5.本方法可以扩展到大型模型和数据集。

最近在这个领域中的相关研究包括：1.《Deep Learning for Partial Differential Equations: A Review》；2.《Physics-informed neural networks: A deep learning framework for solving forward and inverse problems involving nonlinear partial differential equations》；3.《Solving High-Dimensional Partial Differential Equations Using Deep Learning》等。