MODNO: Multi Operator Learning With Distributed Neural Operators

这篇论文研究了运算符学习，涉及利用神经网络来逼近运算符。传统上，重点在于单运算符学习（SOL）。然而，最近的进展已经迅速扩展到使用具有数百万或数十亿可训练参数的基础模型来逼近多个运算符，从而引起了多运算符学习（MOL）的研究。在本文中，我们提出了一种新颖的分布式训练方法，旨在使单个神经运算符能够有效地解决多个运算符学习挑战，而不会产生额外的平均成本。我们的方法适用于各种Chen-Chen类型的神经运算符，例如Deep Operator Neural Networks（DON）。其核心思想是使用其专用数据独立地学习每个运算符的输出基函数，同时使用整个数据集集中学习所有运算符共享的输入函数编码。通过对五个数值例子进行系统研究，我们比较了独立为每个运算符训练单个神经运算符与使用我们提出的方法训练MOL模型的准确性和成本。我们的结果表明，提高了效率并获得了令人满意的准确性。此外，我们的方法说明，一些具有有限数据的运算符可以通过MOL学习从类似的运算符的数据中更有效地构建。这突显了MOL增强运算符学习的潜力。

本文旨在提出一种分布式训练方法，使单个神经算子能够有效地处理多个算子的学习挑战，而不会增加额外的平均成本。同时，探究多算子学习（MOL）的潜力，以加强算子学习。

本文提出的核心思想是，利用各自的数据独立学习每个算子的输出基函数，同时使用整个数据集集中学习所有算子共享的输入函数编码。通过系统研究五个数值例子，比较了独立训练每个算子的单个神经算子和使用我们提出的方法训练MOL模型的准确性和成本。结果表明，我们的方法具有增强的效率和令人满意的准确性。

本文的亮点在于提出了一种新的分布式训练方法，可以在不增加额外平均成本的情况下有效地处理多个算子的学习挑战。此外，本文还探究了MOL学习的潜力，以加强算子学习。实验使用了五个数值例子进行系统研究，结果表明了本文方法的有效性和优越性。

在相关研究方面，最近的研究集中在多算子学习方面。例如，论文“Multi-Operator Reinforcement Learning for Sequential Decision Making Problems”和“Multi-Operator Evolutionary Algorithm for Continuous Optimization Problems”等都涉及到了多算子学习。