KAN: Kolmogorov-Arnold Networks

本文受 Kolmogorov-Arnold 表示定理启发，提出了 Kolmogorov-Arnold 网络（KANs）作为多层感知器（MLPs）的有希望的替代品。虽然 MLPs 在节点（“神经元”）上有固定的激活函数，但 KANs 在边缘（“权重”）上有可学习的激活函数。KANs 没有任何线性权重——每个权重参数都被替换为作为样条函数参数化的单变量函数。我们表明，这个看似简单的改变使得 KANs 在准确性和可解释性方面优于 MLPs。在准确性方面，比起数据拟合和 PDE 求解中更大的 MLPs，更小的 KANs 就可以达到可比或更好的准确性。在理论和实证上，KANs 比 MLPs 具有更快的神经比例尺度定律。在可解释性方面，KANs 可以直观地可视化，并且可以轻松地与人类用户交互。通过数学和物理学的两个例子，KANs 被证明是有用的合作伙伴，帮助科学家（重新）发现数学和物理定律。总之，KANs 是 MLPs 的有希望的替代品，为进一步改进今天严重依赖 MLPs 的深度学习模型开辟了机会。

KANs是作为MLPs的有希望的替代品，试图解决MLPs在精度和可解释性方面的限制问题。

KANs使用可学习的激活函数替代了MLPs上的固定激活函数，并使用样条函数替代了线性权重参数。这种改变使得KANs在精度和可解释性方面优于MLPs。

KANs可以使用较小的网络结构达到与MLPs相当或更好的精度，并具有更快的神经缩放规律；KANs可以直观地可视化，并且易于与人类用户交互；通过数学和物理两个领域的例子，KANs被证明是有用的协作者，可以帮助科学家（重新）发现数学和物理定律。

最近的相关研究包括使用可微分激活函数的神经网络，以及使用非线性函数近似的方法。