Evaluating the effectiveness of predicting covariates in LSTM Networks for Time Series Forecasting

自回归循环神经网络广泛应用于时间序列预测任务中，在单变量和某些多变量情况下表现出有效性。然而，它们固有的结构不容易适应未来的、时间相关的协变量的整合。Salinas等人在2019年提出的一种解决方案建议在多元框架中预测协变量和目标变量。在本研究中，我们对公开可用的时间序列数据集进行了全面的测试，人为地引入高度相关的协变量到未来的时间步值中。我们的评估旨在评估LSTM网络在考虑这些协变量时的性能，并将其与单变量基线进行比较。作为本研究的一部分，我们介绍了一种新颖的方法，将季节性时间段与RNN架构结合使用，既简单又极其有效，可以在长时间预测范围内与许多最先进的架构相媲美。我们从120多个模型的结果中发现，特定条件下联合训练协变量和目标变量可以提高模型的整体性能，但多元预测和单变量预测之间通常存在显著的性能差异。令人惊讶的是，即使提供了关于未来目标值的协变量信息，多元预测的性能也不如单变量预测。实质上，迫使网络预测多个值可能会对模型性能产生负面影响，即使存在信息丰富的协变量。这些结果表明，LSTM架构可能不适用于预测任务，其中预测协变量通常预计会提高模型的准确性。

本论文旨在解决Autoregressive Recurrent Neural Networks在时间序列预测中难以整合未来的、时间相关的协变量的问题，并验证同时考虑协变量和目标变量的多元预测是否能提高模型性能。

论文提出了一种多元预测的解决方案，即在多元框架下同时预测协变量和目标变量。此外，论文还介绍了一种使用季节性时间段和RNN结构的新方法，可在长时间预测中获得极高的性能。

论文通过在公开的时间序列数据集中人为引入高度相关的协变量，对LSTM网络在考虑这些协变量时的性能进行了全面测试，并将其与单变量基线进行了比较。结果显示，在某些情况下，联合训练协变量和目标变量可以提高模型的整体性能，但多元预测与单元预测之间存在显著的性能差异。即使在提供了有关未来目标值的协变量的情况下，多元预测的性能也较差。这些结果表明，LSTM结构可能不适用于预测任务，其中预测协变量通常会增强模型的准确性。

与本论文相关的研究包括：Salinas等人的论文《Multivariate Time Series Forecasting with LSTMs Using Temporal Attention Filtering》、Kong等人的论文《Forecasting High-Dimensional Time Series with Multiple Temporal Aggregation Levels Using Recurrent Neural Networks》等。