Language Models Still Struggle to Zero-shot Reason about Time Series

时间序列在金融和医疗保健等领域的决策中至关重要。它们的重要性推动了最近一系列将时间序列传递到语言模型中的作品，从而在某些数据集上实现了非平凡的预测。但是，仍不清楚非平凡的预测是否意味着语言模型能够推理时间序列。为了解决这一差距，我们生成了一个首个时间序列推理评估框架，包括正式任务和相应的跨十个领域的多尺度时间序列与文本标题配对的数据集。使用这些数据，我们探究语言模型是否实现了三种形式的推理：（1）因果推理——给定输入时间序列，语言模型能否识别最有可能创建它的场景？（2）问答——语言模型是否能够回答关于时间序列的事实性问题？（3）上下文辅助预测——高度相关的文本背景是否能够改善语言模型的时间序列预测？我们发现，除了在其他方面非常有能力的语言模型之外，它们在时间序列推理方面表现出惊人的局限性：它们在因果推理和问答任务上得分略高于随机（比人类差30个百分点），并在使用上下文改善预测方面取得了适度的成功。这些弱点表明，时间序列推理是一项具有重大影响但发展不足的语言模型研究方向。我们还公开了我们的数据集和代码，以支持在https://github.com/behavioral-data/TSandLanguage 这个方向上的进一步研究。

语言模型在时间序列推理方面的能力有多强？这个能力是否可以应用于金融和医疗等领域？

论文提出了一个评估框架，包括三种时间序列推理方式，并提供了相应的数据集，用于评估语言模型在时间序列推理方面的能力。研究发现，当前语言模型在时间序列推理方面的表现有限，需要进一步研究和提高。

论文提供了一个新的评估框架和数据集，用于评估语言模型在时间序列推理方面的能力；研究发现，当前语言模型在时间序列推理方面的表现有限，需要进一步研究和提高；数据集和代码已经公开，可用于后续研究。

最近的相关研究包括利用语言模型进行时间序列预测的工作，如《BERT for Time Series Forecasting: A Deep Learning Framework for Asset Price Prediction》和《Predictive Uncertainty Estimation via Prior Networks for Financial Forecasting》。