Separable DeepONet: Breaking the Curse of Dimensionality in Physics-Informed Machine Learning

本文介绍了深度算子网络（DeepONet）这一流行的神经算子架构，该架构利用深度神经网络在无限维函数空间之间进行映射，已经显示出在求解偏微分方程（PDEs）方面的潜力。在缺乏标记数据集的情况下，我们利用PDE残差损失来学习物理系统，这种方法被称为物理学知识引导的DeepONet。由于计算成本随着精细离散化而呈指数级增长，这种方法面临着重大的计算挑战。在本文中，我们介绍了可分离DeepONet框架来解决这些挑战，并提高高维PDEs的可扩展性。我们的方法涉及一种分解技术，其中子网络处理单个一维坐标，从而减少正向传递的次数和雅可比矩阵的大小。通过使用正向模式自动微分，我们进一步优化了与雅可比矩阵相关的计算成本。因此，我们的修改导致计算成本与离散密度呈线性比例关系，使可分离DeepONet适用于高维PDEs。我们通过三个基准PDE模型验证了可分离架构的有效性：粘性Burgers方程，Biot固结理论和参数化热方程。在所有情况下，我们提出的框架在显著减少计算时间的同时实现了可比或更高的精度，与传统的DeepONet相比。这些结果展示了可分离DeepONet在高效求解复杂高维PDEs方面的潜力，推动了物理学知识引导的机器学习领域的发展。

解决问题：论文试图解决高维偏微分方程求解中的计算量问题，提出一种可扩展的神经算子网络架构。

关键思路：论文提出了可分离的DeepONet架构，通过因式分解技术，将子网络分别处理一维坐标，从而减少前向传递次数和雅可比矩阵的大小。通过正向模式自动微分，进一步优化雅可比矩阵相关的计算成本。这些修改导致计算成本与离散化密度呈线性关系，适用于高维偏微分方程。

其他亮点：论文通过三个基准偏微分方程模型验证了可分离架构的有效性：粘性Burgers方程，Biot固结理论和参数化热方程。在所有情况下，相比传统的DeepONet，我们提出的框架在显著减少计算时间的同时实现了可比或更高的准确性。此外，我们提出的框架具有开源代码，可以进一步用于高维偏微分方程的研究。

相关研究：最近的相关研究包括使用神经网络求解偏微分方程的其他方法，如PINN、Physics-Informed Neural Networks和DeepONet等。