Wav-KAN: Wavelet Kolmogorov-Arnold Networks

本文介绍了一种创新的神经网络结构Wav-KAN，它利用小波Kolmogorov-Arnold网络（Wav-KAN）框架来提高解释性和性能。传统的多层感知器（MLP）甚至最近的Spl-KAN等先进技术面临着解释性、训练速度、鲁棒性、计算效率和性能等方面的挑战。Wav-KAN通过将小波函数纳入Kolmogorov-Arnold网络结构中，使网络能够高效地捕捉输入数据的高频和低频成分。基于小波的逼近采用正交或半正交基础，并在准确表示底层数据结构和避免过度拟合噪声之间保持平衡。类似于水适应容器的形状，Wav-KAN适应数据结构，从而提高了精度、训练速度和鲁棒性，与Spl-KAN和MLPs相比。我们的结果突显了Wav-KAN作为开发可解释和高性能神经网络的强大工具的潜力，并在各个领域应用。这项工作为在PyTorch、TensorFlow等框架中进一步探索和实现Wav-KAN奠定了基础，也使小波在KAN中的广泛使用像ReLU、sigmoid在通用逼近理论（UAT）中一样。

Wav-KAN论文旨在提出一种新的神经网络结构，以解决传统多层感知器（MLPs）和最近的Spl-KAN等方法所面临的解释性、训练速度、鲁棒性、计算效率和性能等方面的挑战。

Wav-KAN通过将小波函数引入Kolmogorov-Arnold网络结构中，使网络能够高效地捕捉输入数据的高频和低频成分，从而提高了准确性、训练速度和鲁棒性。

论文的实验结果表明，Wav-KAN相比于Spl-KAN和MLPs具有更好的性能和解释性，可以在各个领域得到广泛应用。此外，论文还探讨了Wav-KAN在PyTorch和TensorFlow等框架中的实现和应用，以及小波在神经网络中的普及程度。

近期在这个领域中的相关研究包括：《Spl-KAN: A Deep Learning Framework for Tabular Data》、《Interpretable Neural Networks with Kernelized Attention》等。