xLSTMTime : Long-term Time Series Forecasting With xLSTM

最近几年，基于Transformer的模型在多元长期时间序列预测（LTSF）中备受关注，尽管面临高计算需求、难以捕捉时间动态和管理长期依赖等挑战，但仍然取得了显著进展。然而，LTSF-Linear的出现，以其简单的线性结构明显优于基于Transformer的对手，促使人们重新评估Transformer在时间序列预测中的效用。为此，本文提出了一种最近架构扩展LSTM（xLSTM）的LTSF适应性方法。xLSTM结合了指数门控和修订后的内存结构，具有更高的容量，对LTSF有很好的潜力。我们采用的LTSF架构称为xLSTMTime，超越了当前的方法。我们将xLSTMTime的性能与多种最先进的模型在多个实际数据集上进行比较，展示了卓越的预测能力。我们的研究结果表明，精细的循环神经网络架构可以为LTSF任务提供与基于Transformer的模型相竞争的选择，有可能重新定义时间序列预测的格局。

本文旨在探索长期时间序列预测中LSTM网络的应用，提出了一种新的扩展LSTM（xLSTM）结构，以解决传统LSTM网络在时间序列预测中的一些问题。

本文提出的xLSTM结构采用指数门控和更高容量的内存结构，能够很好地解决长期时间序列预测中的问题，比当前的LSTM和Transformer模型表现更好。

本文通过多个真实世界数据集的对比实验，展示了xLSTMTime模型在长期时间序列预测中的卓越性能。本文的研究表明，精细的循环神经网络结构可以成为LTSF任务中与Transformer模型竞争的选择，可能重新定义时间序列预测的研究领域。

在长期时间序列预测领域，最近的相关研究包括：'DeepAR: Probabilistic Forecasting with Autoregressive Recurrent Networks'、'GluonTS: Probabilistic Time Series Models in Python'、'The N-BEATS Algorithm: Beating Neural ODEs without Residuals'等。