Are Language Models Actually Useful for Time Series Forecasting?

大型语言模型（LLMs）正在应用于时间序列任务，特别是时间序列预测。然而，语言模型是否实际上对时间序列有用？通过对三种最近和流行的基于LLM的时间序列预测方法进行一系列消融研究，我们发现，删除LLM组件或将其替换为基本的注意力层并不会降低预测结果 - 在大多数情况下，结果甚至会有所改善。我们还发现，尽管它们的计算成本很高，但预训练的LLMs并不比从头开始训练的模型更好，不能表示时间序列中的顺序依赖关系，并且不能在少样本设置中提供帮助。此外，我们探索了时间序列编码器，并揭示了补丁和注意力结构与最先进的基于LLM的预测器表现相似。

本文试图探讨语言模型在时间序列预测中的应用价值，并通过消融实验验证其实用性。

本文通过实验证明，在大多数情况下，去除语言模型或将其替换为基本的注意力层并不会降低时间序列预测的准确性，甚至在某些情况下会有所提高。同时，本文还探讨了时间序列编码器的结构，发现补丁和注意力结构表现类似于基于LLM的预测模型。

本文发现预训练的LLM并不比从头开始训练的模型表现更好，不代表时间序列中的顺序依赖关系，并且在少样本情况下也没有帮助。实验结果表明，补丁和注意力结构的时间序列编码器表现类似于基于LLM的预测模型。

近期的相关研究包括：'Probabilistic Time Series Forecasting with Structured Delta-GLM'、'Time Series Transformers: A New Approach to Forecasting Single and Multiple Time Series'、'Neural Time Series Forecasting: Literature Review and Thematic Taxonomy'等。