ReLU-KAN: New Kolmogorov-Arnold Networks that Only Need Matrix Addition, Dot Multiplication, and ReLU

由于基函数（B样条）计算的复杂性限制，Kolmogorov-Arnold网络（KAN）在GPU上受到并行计算能力的限制。本文提出了一种新颖的ReLU-KAN实现，继承了KAN的核心思想。通过采用ReLU（修正线性单元）和逐点乘法，我们简化了KAN基函数的设计，并优化了计算过程，以实现高效的CUDA计算。建议的ReLU-KAN架构可以轻松地在现有的深度学习框架（如PyTorch）中实现，用于推理和训练。实验结果表明，与4层网络的传统KAN相比，ReLU-KAN实现了20倍的加速。此外，ReLU-KAN表现出更稳定的训练过程和更优秀的拟合能力，同时保留了KAN的“避免灾难性遗忘”的特性。您可以在https://github.com/quiqi/relu_kan中获取代码。

提高Kolmogorov-Arnold网络（KAN）在GPU上的并行计算能力。

通过采用ReLU和逐点乘法，简化KAN的基函数设计并优化CUDA计算过程。

提出了一种名为ReLU-KAN的新型架构，可在现有的深度学习框架（例如PyTorch）上进行推理和训练。实验结果表明，与4层网络的传统KAN相比，ReLU-KAN实现了20倍的加速。此外，ReLU-KAN表现出更稳定的训练过程和更优秀的拟合能力，同时保持了KAN的“灾难性遗忘避免”属性。

最近的相关研究包括：Kolmogorov-Arnold网络（KAN）的原始论文以及针对基于B样条的神经网络的其他优化方法的研究。