Kronecker-Factored Approximate Curvature for Physics-Informed Neural Networks

物理学相关神经网络（PINNs）以难以训练而闻名。最近，基于自然梯度和高斯牛顿方法的二阶方法表现出有希望的性能，将一阶方法所实现的准确度提高了几个数量级。虽然有前途，但由于计算曲率矩阵的成本高昂，评估、存储和反转曲率矩阵，这些提出的方法仅适用于具有几千个参数的网络。我们提出了适用于PINN损失的Kronecker分解近似曲率（KFAC），它大大降低了计算成本，并允许扩展到更大的网络。我们的方法超越了传统深度学习问题的KFAC，因为它捕捉了PDE微分算子的贡献，这对于优化至关重要。为了建立这种损失的KFAC，我们使用Taylor模式自动微分来描述微分算子的计算图，作为具有共享权重的前向网络。这使我们能够应用KFAC，得益于最近针对具有权重共享的网络的通用公式。实证结果表明，我们基于KFAC的优化器在小型问题上与昂贵的二阶方法竞争，对于更高维度的神经网络和PDEs更有利，始终优于一阶方法和LBFGS。

论文旨在解决物理信息神经网络（PINNs）难以训练的问题，提出一种Kronecker-factored近似曲率（KFAC）方法，以降低计算成本并扩展至更大的网络。

论文的关键思路是使用Taylor-mode自动微分将微分算子的计算图描述为具有共享权重的前向网络，以便应用KFAC。

论文的亮点包括：提出了适用于PINN损失函数的KFAC方法，能够扩展至更大的网络；使用Taylor-mode自动微分描述微分算子的计算图，以便应用KFAC；实验结果表明，KFAC方法在小问题上与昂贵的二阶方法竞争，对更高维度的神经网络和PDEs扩展更有优势，并始终优于一阶方法和LBFGS。

最近的相关研究包括使用自适应学习率的PINNs、使用自适应正则化的PINNs等。