A Practitioner's Guide to Kolmogorov-Arnold Networks

Kolmogorov-Arnold网络（KAN）最近作为一种有前景的传统多层感知机（MLP）替代方案出现，其灵感源自Kolmogorov-Arnold表示定理。与在节点上使用固定激活函数的MLP不同，KAN在边上采用可学习的一元基函数，从而提升了表达能力和可解释性。本文对快速发展的KAN领域提供了系统而全面的综述，超越了简单的性能对比，致力于对理论基础、架构变体以及实际实现策略进行结构化的整合分析。通过收集并分类大量开源实现，我们描绘出支持KAN发展的活跃生态系统。我们首先弥合KAN与MLP之间的概念差距，建立二者在形式上的等价性，并突出KAN在参数效率方面的优势。本文综述的一个核心主题是基函数的关键作用；我们调研了多种基函数选择，包括B样条、切比雪夫和雅可比多项式、ReLU复合函数、高斯径向基函数（RBF）以及傅里叶级数，并分析了它们在平滑性、局部性和计算成本等方面的权衡。随后，我们将近期进展归纳为一条清晰的发展路线图，涵盖提升精度、效率和正则化能力的各种技术。重点议题包括物理信息驱动的损失函数设计、自适应采样、区域分解、混合架构，以及处理不连续性的专用方法。最后，我们提供了一份实用的“按需选择KAN”指南，以帮助实践者选用合适的架构，并指出现有研究中的空白领域。与本文配套的GitHub仓库 https://github.com/AmirNoori68/kan-review 为持续开展的KAN研究提供了结构化的参考资源。

传统多层感知机（MLPs）使用固定的节点激活函数，限制了模型的表达能力和可解释性。论文探讨如何通过受Kolmogorov-Arnold表示定理启发的Kolmogorov-Arnold Networks（KANs）来提升神经网络的表达效率与可解释性，尤其是在参数效率和函数逼近能力方面。这是一个相对较新的问题，聚焦于用可学习的边上的单变量基函数替代固定激活函数。

KANs将可学习的单变量基函数置于网络的边上而非节点上，与MLPs形成对偶结构。这种设计使得KAN在理论上具有更强的表达能力和更高的参数效率。论文强调基函数的选择（如B样条、傅里叶级数等）是核心创新点，并系统地分析了不同基函数的权衡。相比现有研究，KAN提供了一种全新的网络构建范式，而非仅仅改进已有架构。

论文系统梳理了KAN的理论基础、架构变体和实现策略，整理并分类了大量开源实现，提供了清晰的技术发展路线图。实验部分虽未强调具体数据集，但涵盖了精度、效率、正则化、物理信息损失、自适应采样等多个维度的评估。代码已全部开源，GitHub仓库（https://github.com/AmirNoori68/kan-review）作为持续更新的研究参考资源。值得深入的方向包括KAN在科学计算、不连续函数建模及混合架构中的应用。

1. Kolmogorov-Arnold Networks: A New Paradigm in Neural Network Design (2023) 2. Splines Can Outperform ReLUs on Real-World Datasets (2024) 3. Neural Networks with Trainable Activations: Beyond Node-Level Nonlinearities (2022) 4. Physics-Informed Machine Learning with Kolmogorov-Arnold Representations (2024) 5. Efficient Function Approximation via Adaptive Basis Learning (2023)