Physics-Informed Neural Networks: Minimizing Residual Loss with Wide Networks and Effective Activations

在物理信息神经网络(PINNs)中，残差损失通过应用微分算子改变了前馈神经网络中层的简单递归关系，从而产生了一种损失景观，其本质不同于常见的监督问题。因此，依赖现有理论会导致不合理的设计选择和次优的性能。在这项工作中，我们通过研究关键点处的特征来分析残差损失，以找到导致有效训练PINNs的条件。具体而言，我们首先展示了在特定条件下，PINNs的残差损失可以被广泛神经网络全局最小化。此外，我们的分析还揭示了具有良好高阶导数的激活函数在最小化残差损失中发挥了关键作用。特别是，为了解决$k$阶PDE，激活函数的$k$阶导数应该是双射的。建立的理论为设计和选择PINNs的有效激活函数铺平了道路，并解释了为什么周期性激活在某些情况下显示出有希望的性能。最后，我们通过在几个PDE上进行一系列实验来验证我们的发现。我们的代码公开在https://github.com/nimahsn/pinns_tf2。

分析物理信息神经网络中的残差损失并找到有效训练条件

通过研究残差损失在临界点的特性，找到有效训练PINNs的条件，包括使用具有良好高阶导数的激活函数，特别是对于解决$k$阶PDE，激活函数的第$k$个导数应该是双射的。

论文分析了PINNs中的残差损失，并提出了有效训练的条件和激活函数选择，代码公开在GitHub上。实验结果表明，所提出的方法在多个PDE上取得了良好的性能。

最近的相关研究包括：1. Raissi等人的工作，使用PINNs解决偏微分方程；2. Sirignano和Spiliopoulos的工作，使用PINNs进行随机微分方程求解。