ReLU-KAN: New Kolmogorov-Arnold Networks that Only Need Matrix Addition, Dot Multiplication, and ReLU

由于基函数（B-spline）计算的复杂性限制，Kolmogorov-Arnold网络（KAN）在GPU上受到并行计算能力的限制。本文提出了一种新颖的ReLU-KAN实现，继承了KAN的核心思想。通过采用ReLU（修正线性单元）和逐点乘法，我们简化了KAN的基函数设计，并优化了计算过程，以实现高效的CUDA计算。提出的ReLU-KAN架构可以在现有的深度学习框架（例如PyTorch）上进行推理和训练。实验结果表明，与4层网络的传统KAN相比，ReLU-KAN实现了20倍的加速。此外，ReLU-KAN表现出更稳定的训练过程和优越的拟合能力，同时保持了KAN的“避免灾难性遗忘”的特性。您可以在https://github.com/quiqi/relu_kan获取代码。

本文旨在解决Kolmogorov-Arnold Networks(KAN)在GPU上并行计算能力受限的问题，提出了一种新的ReLU-KAN实现方案，旨在优化计算过程，提高计算效率。

本文提出的ReLU-KAN方案采用ReLU和逐点乘法，简化了KAN的基函数设计，并针对CUDA计算进行了优化，可在现有深度学习框架上进行实现。

实验结果表明，相比于传统KAN的4层网络，ReLU-KAN实现了20倍的加速。此外，ReLU-KAN表现出更稳定的训练过程和更优秀的拟合能力，同时保持了KAN的“避免灾难性遗忘”的特性。作者还提供了代码开源。

最近的相关研究包括：《Kolmogorov-Arnold神经网络的并行计算方法》、《基于B-spline函数的神经网络模型》等。