Kronecker-Factored Approximate Curvature for Physics-Informed Neural Networks

物理启发式神经网络（PINNs）以难以训练而闻名。最近，基于自然梯度和高斯-牛顿方法的二阶方法表现出了有希望的性能，将一阶方法实现的准确度提高了几个数量级。虽然有希望，但由于评估、存储和反转曲率矩阵的计算成本很高，所提出的方法仅适用于具有几千个参数的网络。我们提出了适用于PINN损失的Kronecker分解近似曲率（KFAC），大大降低了计算成本，并允许扩展到更大的网络。我们的方法超越了传统深度学习问题的KFAC，因为它捕捉了对优化至关重要的PDE微分算子的贡献。为了建立这种损失的KFAC，我们使用Taylor模式自动微分来将微分算子的计算图描述为具有共享权重的前向网络。这使我们能够应用KFAC，因为最近开发了一种适用于具有权重共享的网络的通用公式。实证上，我们发现，我们基于KFAC的优化器在小问题上与昂贵的二阶方法竞争，对于更高维度的神经网络和PDE，更有利于扩展，并且始终优于一阶方法和LBFGS。

本文旨在解决物理知识嵌入神经网络（PINNs）的训练难度问题，提出了一种Kronecker分解的近似曲率（KFAC）方法，以大大降低计算成本并实现网络的可扩展性。

本文提出的KFAC方法通过使用Taylor-mode自动微分将微分算子的计算图描述为具有共享权重的前向网络，从而捕捉到优化中至关重要的微分算子的贡献。

本文的实验结果表明，KFAC优化器在小型问题上与昂贵的二阶方法相当，对于更高维度的神经网络和PDEs具有更好的可扩展性，并始终优于一阶方法和LBFGS。此外，本文还提供了开源代码。

与本文相关的研究包括：使用自然梯度和Gauss-Newton方法的二阶方法，以及传统深度学习问题中的KFAC方法。