In-context Time Series Predictor

最近基于Transformer的大型语言模型(LLMs)展示了在上下文学习方面的能力，可以仅基于提供的上下文执行各种功能，而无需更新模型参数。为了充分利用上下文能力进行时间序列预测(TSF)问题，与以前基于Transformer或LLM的时间序列预测方法不同，我们通过在令牌中构建一系列(回溯，未来)对来将“时间序列预测任务”重新制定为输入令牌。该方法更加贴近内在的上下文机制，并且更加参数高效，无需使用预训练的LLM参数。此外，它解决了现有基于Transformer的TSF模型中的过度拟合等问题，与以前的架构相比，在全数据、少样本和零样本设置下始终实现更好的性能。

论文旨在利用最近的Transformer-based大型语言模型的in-context学习能力来解决时间序列预测中的问题，同时避免现有Transformer-based时间序列预测方法中存在的过拟合问题。

将时间序列预测任务转化为输入令牌，通过构建一系列（回溯，未来）对来对齐in-context机制，提高参数效率，避免使用预训练LLM参数，从而实现更好的性能。

论文设计了实验来验证新方法的性能，实验结果表明该方法在全数据、少样本和零样本设置下均比之前的架构表现更好。论文还提出了解决现有Transformer-based时间序列预测模型中存在的过拟合问题的方法。

最近的相关研究包括使用LLM的时间序列预测方法，如GPT-2和BERT，以及基于Transformer的时间序列预测方法，如TFT和N-BEATS。