Taming Pre-trained LLMs for Generalised Time Series Forecasting via Cross-modal Knowledge Distillation

最近，随着深度学习模型的迅速发展，多元时间序列预测取得了巨大的成功。然而，现有的方法通常使用有限的时间数据从头开始训练模型，阻止了它们的泛化。最近，随着大型语言模型（LLMs）的激增，一些研究尝试将LLMs引入时间序列预测中。尽管取得了有希望的结果，但这些方法直接将时间序列作为输入传递给LLMs，忽略了时间和文本数据之间固有的模态差距。在这项工作中，我们提出了一种新颖的大型语言模型和时间序列对齐框架，称为LLaTA，以充分发挥LLMs在时间序列预测挑战中的潜力。基于跨模态知识蒸馏，所提出的方法利用了预先训练的LLMs中既有的与输入无关的静态知识，也利用了输入相关的动态知识。这样，它不仅赋予了预测模型良好的性能，而且具有强大的泛化能力。广泛的实验表明，所提出的方法在长期和短期预测方面都建立了新的最先进技术。代码可在\url{https://github.com/Hank0626/LLaTA}上找到。

论文旨在解决多元时间序列预测中存在的模型泛化问题，提出了一种基于大型语言模型和时间序列对齐的框架（LLaTA）。

LLaTA框架利用跨模态知识蒸馏，将预训练的大型语言模型的输入无关静态知识和输入相关动态知识结合起来，以提高预测模型的性能和泛化能力。

论文通过实验验证了LLaTA框架在长期和短期预测任务中的优越性，并在Github上公开了代码。值得进一步研究的工作包括扩展LLaTA框架到其他领域以及探索更多的跨模态知识蒸馏方法。

最近的相关研究包括将大型语言模型引入时间序列预测的工作，例如TSTransformer和GPT-2。