Ensemble and Mixture-of-Experts DeepONets For Operator Learning

我们提出了一种新颖的深度算子网络（DeepONet）架构，即集合DeepONet，用于算子学习，它允许将单个DeepONet的主干网络与多个不同的主干网络进行丰富。这种主干网络的丰富性使得在一系列算子学习问题上具有更强的表达能力和泛化能力。我们还提出了一种空间混合专家（MoE）DeepONet主干网络架构，它利用分区一体化（PoU）逼近来促进算子学习问题中的空间局部性和模型稀疏性。我们首先证明了集合和PoU-MoE DeepONet都是通用逼近器。然后，我们证明了包含标准主干、PoU-MoE主干和/或适当正交分解（POD）主干的集合DeepONet可以在涉及二维和三维偏微分方程（PDE）的标准和具有挑战性的新算子学习问题上实现比标准DeepONet和POD-DeepONet低2-4倍的相对$\ell_2$误差。我们的新PoU-MoE公式为将空间局部性和模型稀疏性纳入任何神经网络架构提供了一种自然的方法，而我们的新集合DeepONet为科学机器学习架构中的算子学习提供了一个强大而通用的框架。

本论文旨在解决算子学习问题，提出了一种新的深度算子网络（DeepONet）架构，即集合DeepONet，它允许丰富单个DeepONet的主干网络，以提高表达能力和泛化能力。

本论文提出了一种新的深度算子网络（DeepONet）架构，即集合DeepONet和空间专家混合（MoE）DeepONet主干网络架构，利用PoU逼近促进空间局部性和模型稀疏性，提高算子学习的精度和效率。

本论文证明了集合DeepONet和PoU-MoE DeepONet都是普适逼近器，并在标准和挑战性的新算子学习问题上展示了它们的优越性能。实验结果表明，相比标准DeepONet和POD-DeepONet，集合DeepONet可以实现2-4倍更低的相对l2误差。

近期在这个领域中，还有一些相关研究，例如“Physics-Informed Deep Learning for Inverse Problems: A Review”和“Deep Learning for Inverse Problems: A Review”等。