Understanding Different Design Choices in Training Large Time Series Models

受大型语言模型（LLMs）启发，长期以来的时间序列分析任务——时间序列预测（TSF）正在向大型时间序列模型（LTSMs）过渡，旨在为TSF训练通用的基于transformer的模型。然而，在异构时间序列数据上训练LTSMs会面临独特的挑战，包括数据集之间频率、维度和模式的多样性。最近的研究努力致力于研究和评估各种设计选择，旨在增强LTSM的训练和泛化能力，包括预处理技术、模型配置和数据集配置。在这项工作中，我们全面分析这些设计选择，并旨在确定训练LTSM的最佳实践。此外，我们提出了一种新的针对时间序列数据的统计提示策略——“时间序列提示”。此外，基于我们分析中的观察结果，我们介绍了“LTSM-bundle”，它捆绑了我们已经确定的最佳设计选择。实证结果表明，“LTSM-bundle”在基准数据集上实现了比最先进的LSTMs和传统的TSF方法更优异的零-shot和few-shot表现。

论文旨在解决训练大型时间序列模型（LTSM）时面临的挑战，包括异构时间序列数据的多样性，跨数据集的不同频率、维度和模式等问题。

论文提出了一种综合分析和评估不同设计选择的方法，以提高LTSM的训练和泛化能力，同时引入了一种针对时间序列数据的新型统计提示策略——时间序列提示，以及一个综合最佳设计选择的LTSM-bundle。

论文实验结果表明，LTSM-bundle在基准数据集上实现了比现有LSTM和传统时间序列预测方法更好的零样本和少样本性能。论文还提供了开源代码。

最近的相关研究包括使用LSTM进行时间序列预测的研究，以及使用大型语言模型进行时间序列预测的研究，如GPT和BERT。