Convergence of Implicit Gradient Descent for Training Two-Layer Physics-Informed Neural Networks

优化算法对于训练基于物理学信息的神经网络（PINN）至关重要，不合适的方法可能会导致较差的解决方案。与常见的梯度下降算法相比，隐式梯度下降（IGD）在处理某些多尺度问题时表现更好。本文提供了针对超参数化两层PINN的隐式梯度下降训练的收敛分析。我们首先证明了一般平滑激活函数（如S型函数、softplus函数、tanh函数等）的Gram矩阵的正定性。然后，超参数化使我们能够证明随机初始化的IGD以线性收敛速率收敛于全局最优解。此外，由于训练动态不同，IGD的学习率可以独立于样本大小和Gram矩阵的最小特征值选择。

本论文旨在解决物理信息神经网络（PINNs）训练中的优化算法问题，尤其是针对多尺度问题，比如梯度下降算法可能会导致较差的解决方案。论文提出了一种隐式梯度下降（IGD）算法，以提高多尺度问题的处理能力。

论文提出了一种基于隐式梯度下降的训练方法，针对两层过度参数化的PINNs，通过证明Gram矩阵的正定性，证明了IGD算法可以收敛到全局最优解，并且收敛速度是线性的。此外，IGD算法的学习率可以独立于样本大小和Gram矩阵的最小特征值进行选择。

论文实验验证了IGD算法的性能优越性，特别是在多尺度问题上。论文还探讨了不同激活函数的Gram矩阵正定性，包括sigmoid函数、softplus函数、tanh函数等。此外，论文还提供了一些开源代码和数据集，以供研究者使用。

最近的相关研究包括： 1. Physics-informed neural networks for inverse problems in imaging applications 2. Deep hidden physics models: deep learning of nonlinear partial differential equations 3. A deep learning framework for inverse problems in imaging