TENG: Time-Evolving Natural Gradient for Solving PDEs with Deep Neural Net

偏微分方程（PDE）在科学和工程中对于建模动态系统至关重要。神经网络的出现引发了在解决这些复杂性方面的显著转变，尽管在初始值问题方面仍存在准确性方面的挑战。在本文中，我们介绍了“时间演化自然梯度（TENG）”，将时间依赖的变分原理和基于优化的时间积分进行了推广，利用自然梯度优化来获得基于神经网络的PDE解的高精度。我们的全面发展包括TENG-Euler算法及其高阶变体，如TENG-Heun，旨在提高精度和效率。通过在一系列PDE中进行逐步优化，包括热方程，Allen-Cahn方程和Burgers方程等，TENG的有效性得到了进一步验证，其表现超过了目前领先的方法，并实现了机器精度。

本文旨在解决使用神经网络求解偏微分方程（PDE）时的精度问题，提出了一种新的方法TENG（Time-Evolving Natural Gradient），并在多个PDE上进行了验证。

TENG利用自然梯度优化来实现高精度的神经网络求解PDE，包括TENG-Euler和TENG-Heun等高阶变体。

实验表明，TENG方法在多个PDE上的表现优于当前领先的方法，并在逐步优化中实现了机器精度。

最近的相关研究包括使用神经网络求解PDE的方法，如PINN（Physics-Informed Neural Networks）和DeepXDE，以及使用传统数值方法求解PDE的研究。