KAN: Kolmogorov-Arnold Networks

本文受 Kolmogorov-Arnold 表示定理的启发，提出了 Kolmogorov-Arnold 网络（KANs），作为多层感知机（MLPs）的有希望的替代品。虽然 MLPs 在节点（“神经元”）上有固定的激活函数，但是 KANs 在边缘（“权重”）上有可学习的激活函数。KANs 没有任何线性权重——每个权重参数都被替换为作为样条的单变量函数参数化。我们展示了这个看似简单的变化使得 KANs 在准确性和可解释性方面优于 MLPs。在准确性方面，KANs 可以通过数据拟合和 PDE 求解实现与 MLPs 相当或更好的准确性，而所需的 KANs 要小得多。从理论和经验上看，KANs 具有比 MLPs 更快的神经缩放定律。在可解释性方面，KANs 可以直观地可视化，并且可以轻松地与人类用户交互。通过数学和物理学的两个例子，我们展示了 KANs 是有用的合作者，可以帮助科学家（重新）发现数学和物理定律。总之，KANs 是 MLPs 的有希望的替代品，为进一步改进今天严重依赖 MLPs 的深度学习模型开辟了机会。

论文旨在提出一种新的神经网络结构Kolmogorov-Arnold Networks (KANs)，并探究其在数据拟合和偏微分方程求解方面的性能和可解释性。

KANs使用可学习的边权重激活函数代替了固定的节点激活函数，同时通过样条函数代替线性权重参数，从而在精度和可解释性方面优于传统的Multi-Layer Perceptrons (MLPs)。

KANs在数据拟合和偏微分方程求解方面表现优异，且具有更快的神经缩放定律；KANs可视化直观，易于与人类用户进行交互；论文提供了两个数学和物理领域的案例，展示了KANs作为科学家的有用合作伙伴。

在这个领域中，还有一些相关研究，如Neural Ordinary Differential Equations, Neural Tangent Kernels等。