MLPs and KANs for data-driven learning in physical problems: A performance comparison

近年来，通过将偏微分方程（PDEs）转化为机器学习问题来求解的方法引起了越来越多的兴趣。最近，对科尔莫戈罗夫-阿诺德网络（KANs）的研究出现了激增，这些网络被视为传统多层感知机（MLPs）神经网络的替代方案。尽管显示出一定的潜力，但KANs在基于物理的问题中的性能优势仍然 largely 未被充分探索。一些关键问题依然存在：KANs 是否能够捕捉复杂的物理动力学？在什么条件下它们可能优于传统的网络架构？在这项工作中，我们对 KANs 和 MLPs 在学习由 PDEs 控制的物理系统中的表现进行了比较研究。我们评估了它们在深度算子网络（DeepONet）和基于图网络的模拟器（GNS）中的性能，并在规模和复杂性上差异显著的物理问题上对它们进行了测试。受科尔莫戈罗夫表示定理的启发，我们考察了 KANs 和 MLPs 在浅层和深层网络架构下的行为。我们的结果表明，尽管在配置为深层神经网络时，KANs 并未始终优于 MLPs，但在浅层网络设置下，KANs 展现出了更强的表达能力，在我们的测试案例中显著超越了 MLPs 的准确性。这表明 KANs 是一个有前景的选择，在涉及物理系统的应用中提供了效率与准确性的良好平衡。

该论文试图解决使用机器学习方法求解偏微分方程（PDEs）的问题，特别是探索Kolmogorov-Arnold Networks (KANs) 在物理系统建模中的性能表现。这是一个相对较新的问题，尤其是在将KANs与传统MLPs进行对比的背景下。

关键思路是利用Kolmogorov Representation Theorem的理论基础，研究KANs在浅层和深层网络架构下的表现，并将其与MLPs进行比较。相比现有研究，这篇论文首次系统性地评估了KANs在DeepONet和Graph Network Simulators (GNS) 中的应用效果，揭示了KANs在浅层网络中具有更高的表达能力和准确性。

论文设计了一系列实验，测试了不同规模和复杂度的物理问题，包括DeepONet和GNS框架下的应用。实验数据集涵盖了多种物理系统，但未提及是否开源代码。值得关注的是，KANs在浅层网络中表现出显著优于MLPs的性能，这为未来研究提供了新方向。建议进一步探索KANs在更大规模数据集上的表现以及其在其他领域（如流体力学）的应用潜力。

近期相关研究包括：1) 「Physics-Informed Neural Networks」提出了一种结合物理规律的神经网络方法；2) 「Deep Operator Networks (DeepONets)」用于学习映射算子；3) 「Neural Ordinary Differential Equations」探索了ODEs的神经网络求解方法；4) 「Graph Neural Networks for Physical Systems」研究了图神经网络在物理仿真中的应用。这些工作共同推动了AI在科学计算领域的进展。