A comprehensive and FAIR comparison between MLP and KAN representations for differential equations and operator networks

本文介绍了Kolmogorov-Arnold网络（KANs）作为MLP的替代表示模型。在本文中，我们使用KANs构建物理信息机器学习模型（PIKANs）和深度算子模型（DeepOKANs）来解决前向和反向微分方程问题。特别地，我们将它们与基于标准MLP表示的物理信息神经网络（PINNs）和深度算子网络（DeepONets）进行比较。我们发现，虽然基于B样条参数化的原始KANs缺乏准确性和效率，但基于低阶正交多项式的修改版本具有与PINNs和DeepONet相当的性能，尽管它们仍然缺乏鲁棒性，因为它们可能会因为不同的随机种子或更高阶的正交多项式而发散。我们通过信息瓶颈理论可视化它们对应的损失景观并分析它们的学习动态。我们的研究遵循FAIR原则，以便其他研究人员可以使用我们的基准来进一步推进这个新兴的主题。

本文旨在使用Kolmogorov-Arnold Networks（KANs）构建物理启发式机器学习模型（PIKANs）和深度算子模型（DeepOKANs）来解决前向和反向微分方程问题，并与基于标准MLP表示的物理启发式神经网络（PINNs）和深度算子网络（DeepONets）进行比较。

本文采用KANs作为替代MLP的表示模型，并将其用于构建PIKANs和DeepOKANs，以解决微分方程问题。研究发现，基于B样条参数化的原始KANs精度和效率不够高，但是基于低阶正交多项式的修改版本具有与PINNs和DeepONets相当的性能，但仍然缺乏鲁棒性。同时，通过信息瓶颈理论对它们的损失景观和学习动态进行了分析。

本文使用FAIR原则进行实验设计，提供了基准数据集以促进这一新兴领域的进一步发展。值得关注的是，本文的KANs表示模型在解决微分方程问题方面具有潜在的优势，并且可以与其他基于MLP的模型进行比较。此外，本文还进行了信息瓶颈理论方面的分析，为深入理解这些模型的学习动态提供了新的思路。

最近在这个领域中，还有一些相关的研究，例如： 1. Physics-Informed Neural Networks (PINNs) 2. DeepONet: Learning nonlinear operators for identifying differential equations based on the universal approximation theorem 3. Neural Operator: Graph Kernel Network for Partial Differential Equations