SineKAN: Kolmogorov-Arnold Networks Using Sinusoidal Activation Functions

最近的研究提出了一种传统多层感知器神经网络的替代方案，即Kolmogorov-Arnold Networks (KAN)。通用的KAN框架在计算图的边缘使用可学习的激活函数，然后在节点上进行求和。原始实现中可学习的边缘激活函数是基函数样条函数(B-Spline)。在这里，我们提出了一种模型，其中可学习的B-Spline激活函数网格可以被重新加权正弦函数网格所替代。我们展示了这导致在MNIST基准测试上比B-Spline KAN模型提供更好或相当的数值性能，同时提供了4-9倍的大幅加速。

论文旨在探索Kolmogorov-Arnold Networks (KAN)的可替代方案，提出了一种利用可学习的正弦函数替代B-Spline函数的KAN模型，以提高计算速度并保持高精度。

论文提出了一种用可学习的正弦函数替代B-Spline函数的KAN模型，以提高计算速度并保持高精度。这种替代方案的关键思路是利用正弦函数的周期性来代替B-Spline函数的局部性，从而减少计算复杂度。

论文的实验结果表明，这种用正弦函数替代B-Spline函数的KAN模型在MNIST基准测试中能够实现与B-Spline KAN模型相当或更好的数值性能，同时计算速度提高了4-9倍。此外，论文还开源了代码。

最近的相关研究包括使用不同类型的激活函数来改进神经网络性能的研究，以及探索KAN模型替代方案的研究。例如，一些研究使用Gaussian Radial Basis Functions (RBF)替代B-Spline函数，而另一些研究则使用可学习的B-Spline函数来代替传统的B-Spline函数。