Wav-KAN: Wavelet Kolmogorov-Arnold Networks

本文介绍了一种创新的神经网络架构Wav-KAN，它利用了Wavelet Kolmogorov-Arnold Networks (Wav-KAN)框架来增强可解释性和性能。传统的多层感知机(MLPs)和最近的进展如Spl-KAN面临着解释性、训练速度、鲁棒性、计算效率和性能方面的挑战。Wav-KAN通过将小波函数结合到Kolmogorov-Arnold网络结构中，使网络能够高效地捕捉输入数据的高频和低频成分。基于小波的逼近采用正交或半正交基，保持准确地表示底层数据结构和避免过度拟合噪声之间的平衡。虽然连续小波变换(CWT)具有很大的潜力，但我们还采用了离散小波变换(DWT)进行多分辨率分析，这消除了在查找细节时重新计算之前步骤的需要。类似于水适应其容器的形状，Wav-KAN适应数据结构，从而提高了精度、训练速度和鲁棒性，相比于Spl-KAN和MLPs。我们的结果突显了Wav-KAN作为开发可解释性和高性能神经网络的强大工具的潜力，其应用涵盖各个领域。这项工作为在诸如PyTorch和TensorFlow之类的框架中进一步探索和实现Wav-KAN奠定了基础，旨在使小波在KAN中像ReLU和sigmoid等激活函数在通用逼近理论(UAT)中一样广泛。可复制模拟的代码可在https://github.com/zavareh1/Wav-KAN上获得。

Wav-KAN论文旨在解决MLP和Spl-KAN在可解释性、训练速度、鲁棒性、计算效率和性能方面的挑战，提出一种新的神经网络框架Wav-KAN。

Wav-KAN通过将小波函数结合到Kolmogorov-Arnold网络结构中，能够高效地捕捉输入数据的高频和低频成分。Wav-KAN可以自适应数据结构，提高了准确性、训练速度和鲁棒性。

Wav-KAN使用离散小波变换进行多分辨率分析，避免了在查找细节时需要重新计算前面步骤的需要。Wav-KAN的结果表明，它是一个强大的工具，可以开发出可解释和高性能的神经网络，适用于各个领域。作者还提供了代码，可用于复制实验。

最近的相关研究包括Spl-KAN和MLPs。