TimeCMA: Towards LLM-Empowered Time Series Forecasting via Cross-Modality Alignment

广泛采用可扩展的移动传感技术已经导致了大量的实时应用时间序列数据。其中最基本的应用是多元时间序列预测(MTSF)，其目的是基于历史观察结果预测未来时间序列值。现有的MTSF方法受到参数化和小规模训练数据的限制。近期，大型语言模型(LLMs)已经被引入到时间序列中，取得了有希望的预测性能，但也带来了沉重的计算成本。为了解决这些挑战，我们提出了TimeCMA，一种基于LLM的时间序列预测框架，具有跨模态对齐功能。我们设计了一个双模态编码模块，其中时间序列编码分支通过反向Transformer提取相对低质量但纯净的时间序列嵌入。此外，LLM增强编码分支将相同的时间序列作为提示，通过预训练的LLM获得高质量但纠缠的提示嵌入。然后，我们设计了一个跨模态对齐模块，以从提示嵌入中检索高质量和纯净的时间序列嵌入。此外，我们开发了一个时间序列预测模块，以解码对齐的嵌入，并捕捉多个变量之间的依赖关系进行预测。值得注意的是，我们定制了提示，以在最后一个标记中编码足够的时间信息，并设计了最后一个标记嵌入存储以减少计算成本。在真实数据上进行的大量实验揭示了所提出的框架的准确性和效率。

本论文旨在解决多变量时间序列预测中存在的参数化有限和小规模训练数据的问题，同时也试图减少使用大型语言模型进行时间序列预测所需的计算成本。

论文提出了一种基于大型语言模型的时间序列预测框架TimeCMA，通过交叉模态对齐的方式提高了预测精度，并且设计了一种存储最后一个token嵌入的方法来降低计算成本。

论文采用真实数据集进行了广泛的实验，证明了TimeCMA框架的准确性和高效性。此外，论文还开源了代码，值得进一步研究。

在最近的研究中，也有一些关于多变量时间序列预测的相关工作，例如《Multivariate Time Series Forecasting with Deep Learning: A Review》。