AR-KAN: Autoregressive-Weight-Enhanced Kolmogorov-Arnold Network for Time Series Forecasting

传统的神经网络在信号的频谱分析中常常面临挑战。为了解决这一问题，傅里叶神经网络（FNN）及类似方法将傅里叶级数的组件引入神经网络的结构中。然而，一个常常被忽视的重要障碍是：周期信号的叠加并不一定形成周期信号。例如，在预测由频率不可通约的信号组成的几乎周期函数时，传统模型（如差分自回归移动平均模型 ARIMA）的表现通常优于包括大语言模型（LLMs）在内的大多数神经网络。为应对这一问题，我们提出了“自回归权重增强型 AR-KAN”，这是一种结合了两种方法优势的混合模型。基于通用短视映射定理（Universal Myopic Mapping Theorem），我们采用科莫哥洛夫-阿诺德网络（KAN）来处理静态非线性部分，并通过一个预训练的自回归（AR）组件引入记忆能力。这一设计可以被解释为在保留最有用信息的同时去除了冗余。实验数据表明，AR-KAN 在 72% 的真实世界数据集上取得了更优的表现。

论文试图解决传统神经网络在频谱分析和预测几乎周期性函数（尤其是由不可通约频率组成的信号）时表现不佳的问题。这类任务中，传统方法如ARIMA往往优于神经网络模型，包括大型语言模型（LLMs）。这是一个在时间序列建模和频谱分析领域长期存在的挑战，具有现实意义。

论文提出了一种混合模型AR-KAN，结合了自回归（AR）模型的记忆能力和Kolmogorov-Arnold Network (KAN) 的非线性建模能力。其关键创新在于利用预训练的AR组件提取时间序列中的记忆信息，并通过KAN建模非线性关系。这种方法不同于传统的神经网络结构，也区别于纯傅里叶神经网络（FNN），更有效地处理几乎周期性信号。

1. 基于Universal Myopic Mapping Theorem理论构建模型结构，具有一定的数学基础支撑。 2. 实验结果显示AR-KAN在72%的真实数据集上表现优于现有方法，显示出其广泛适用性。 3. 通过AR组件预训练来提取关键时间信息，减少冗余，提升模型效率。 4. 未来可深入研究该模型在不同领域（如语音、金融时间序列、生物信号）中的泛化能力。 5. 论文未提及是否开源代码，未来若开源将有助于社区复现与扩展。

1. Fourier Neural Networks (FNNs) for spectral analysis 2. Universal Approximation Theorems for KAN networks 3. ARIMA and SARIMA for time series forecasting 4. Transformer-based models for long-term time series forecasting (e.g., Informer, Autoformer) 5. KAN: Kolmogorov-Arnold Networks (相关ICML 2024论文)