An Analysis of Linear Time Series Forecasting Models

尽管线性模型很简单，但它们在时间序列预测方面表现良好，即使与更深层和更昂贵的模型相比也是如此。已经提出了许多线性模型的变体，通常包括某种形式的特征归一化，以提高模型的泛化能力。在本文中，我们分析了使用这些线性模型架构可表达的函数集合。通过这样做，我们展示了几种流行的线性模型变体与标准的、无约束的线性回归在功能上是等价的，无法区分。我们为每个线性变体特征化了模型类别。我们证明了每个模型都可以重新解释为在适当增强的特征集上的无约束线性回归，因此在使用均方损失函数时可以得到闭式解。我们提供了实验证据表明，检验的模型学习到的解几乎相同，最后证明了更简单的闭式解决方案在72％的测试设置中是更优秀的预测者。

论文旨在分析线性模型在时间序列预测中的表现，并探讨线性模型的变体之间的等价性和功能区别。

论文发现，几种流行的线性模型变体在功能上与标准线性回归无异，可以通过适当扩充特征集合来重新解释为无约束的线性回归，并且在使用均方误差损失函数时可以得到闭合形式的解。这些简单的闭合形式解决方案在72%的测试设置中都是更好的预测器。

论文的实验设计得当，使用多个数据集进行测试，并提供了开源代码。值得注意的是，论文发现多个流行的线性模型变体在功能上与标准线性回归无异，并且可以通过适当扩充特征集合来重新解释为无约束的线性回归，这为时间序列预测提供了更简单的解决方案。

在这个领域中，最近的相关研究包括：'DeepAR: Probabilistic Forecasting with Autoregressive Recurrent Networks'，'Long Short-Term Memory-Networks for Machine Reading'，'A Dual-Stage Attention-Based Recurrent Neural Network for Time Series Prediction'等。