Constrained or Unconstrained? Neural-Network-Based Equation Discovery from Data

在许多领域中，从业者经常依靠微分方程来模拟系统。然而，对于许多应用，这些方程的理论推导和/或准确解决方案的解决可能是棘手的。相反，最近开发的方法，包括基于参数估计、算子子集选择和神经网络的方法，允许基于数据发现普通和偏微分方程（PDE），在解释性的光谱上。这些策略的成功往往取决于从状态变量的噪声观测中正确识别代表性方程，以及与此相关且相互交织的用于执行这些方程的数学策略。具体而言，后者通常通过无约束优化策略来解决。我们将PDE表示为神经网络，提出通过解决约束优化问题并使用类似于物理知识神经网络（PINN）的中间状态表示来发现PDE。该约束优化问题的目标函数促进数据匹配，而约束要求在几个空间配点处满足PDE。我们提出了一种惩罚方法和一种广泛使用的信任区域屏障方法来解决这个约束优化问题，并在数值例子上比较这些方法。我们在Burgers'和Korteweg-De Vreis方程上的结果表明，后一种约束方法优于惩罚方法，特别是对于更高的噪声水平或更少的配点。对于这两种方法，我们使用传统方法（如有限差分方法）来解决这些发现的神经网络PDE，而不是依赖于自动微分的PINN类型方法。我们简要介绍了其他一些小但关键的实现细节。

解决问题：论文旨在通过基于参数估计、算子子集选择和神经网络等方法，发现普通和偏微分方程，以解决由于理论推导和精确解决方案难以实现而出现的问题。

关键思路：将偏微分方程表示为神经网络，通过求解约束优化问题并使用类似于物理信息神经网络（PINN）的中间状态表示来发现偏微分方程。优化问题的目标函数是匹配数据，而约束要求在几个空间配点处满足偏微分方程。提出了惩罚方法和广泛使用的信任域障碍方法来解决这个约束优化问题，并在数值示例中比较了这些方法。

其他亮点：论文对Burgers'和Korteweg-De Vreis方程进行了实验，证明了后者的约束方法优于惩罚方法，特别是在更高的噪声水平或更少的配点时。此外，论文还使用传统方法（如有限差分法）而不是依赖于自动微分的PINN类型方法来解决这些发现的神经网络偏微分方程。论文提出的方法有望在数据驱动的偏微分方程建模中发挥重要作用。

相关研究：最近的相关研究包括：'Data-driven discovery of partial differential equations'、'Physics-informed neural networks: A deep learning framework for solving forward and inverse problems involving nonlinear partial differential equations'、'Deep learning for universal linear embeddings of nonlinear dynamics'等。