$\textbf{S}^2$IP-LLM: Semantic Space Informed Prompt Learning with LLM for Time Series Forecasting

最近，人们对于利用预训练的大型语言模型（LLMs）进行各种时间序列应用的兴趣越来越大。然而，通过预训练建立的LLMs的语义空间仍未被充分探索，这可能有助于产生更具有区别性和信息量的表示，以便于时间序列预测。为此，我们提出了一种利用LLMs进行语义空间提示学习的方法（$S^2$IP-LLM），以使预训练的语义空间与时间序列嵌入空间对齐，并基于联合空间中学习到的提示进行时间序列预测。我们首先设计了一个针对跨模态对齐的分词模块，该模块明确地将分解的时间序列组件的补丁串联起来，以创建能够有效编码时间动态的嵌入。接下来，我们利用预训练的单词标记嵌入来导出语义锚，并通过在联合空间中最大化余弦相似性来对齐所选的锚点与时间序列嵌入。这样，$S^2$IP-LLM可以检索相关的语义锚作为提示，为展现不同时间动态的时间序列提供强有力的指示（上下文）。通过对多个基准数据集进行彻底的实证研究，我们证明了所提出的$S^2$IP-LLM可以实现优于现有最先进基线的预测性能。此外，我们的消融研究和可视化验证了语义空间提示学习的必要性。

本文旨在探索利用预训练的大型语言模型（LLM）进行各种时间序列应用的可能性。作者认为，通过将预训练的语义空间与时间序列嵌入空间对齐，可以生成更具区分性和信息性的表示，从而促进时间序列预测。

本文提出了基于语义空间的提示学习方法（$S^2$IP-LLM），通过最大化联合空间中的余弦相似度，将预训练的语义空间与时间序列嵌入空间对齐，并从中学习提示以进行时间序列预测。

本文设计了一个特定于交叉模态对齐的分词模块，该模块明确地将分解的时间序列组件的补丁连接起来，以创建有效编码时间动态的嵌入。作者利用预训练的单词令牌嵌入来推导语义锚点，并通过最大化联合空间中的余弦相似度来将所选锚点与时间序列嵌入对齐。作者在多个基准数据集上进行了彻底的实证研究，证明了所提出的$S^2$IP-LLM可以在时间序列预测方面实现优越的性能，并验证了语义空间提示学习的必要性。

最近，有一些相关研究探索了利用预训练的语言模型进行时间序列预测的可能性，例如《GPT-2 for Time Series Forecasting: Enhancing Autoregressive Models with Natural Language Processing》。