Generative Pre-Trained Diffusion Paradigm for Zero-Shot Time Series Forecasting

近年来，基于生成式预训练范式的模型，如大型语言模型（LLMs）和大型视觉模型（LVMs），已经取得了革命性的进展和广泛的实际应用。特别是，基于预训练LLMs的时间序列模型相比以前的深度模型方法，展现出了更强的泛化能力和鲁棒性，展示了生成式预训练范式作为时间序列基础模型的潜力。然而，这些基于LLMs的研究主要集中在跨模态研究，即利用LLMs在时间序列上的语言能力。虽然它们取得了令人印象深刻的性能，但仍存在由于数据分布差异导致的概念漂移和由于维度不匹配导致的缺乏灵活性的问题。因此，受到最近LVMs的工作的启发，我们重新考虑了时间序列建模的范式。在本文中，我们全面探索了生成式预训练扩散（GPD）范式在实际多元时间序列预测（TSF）中的有效性和优越性。具体而言，为了减轻复杂网络引入的性能偏差，我们提出了一个简单的MLP扩散网络，用于无条件建模时间序列。然后，我们采用了一种零样本和无需调整的方法来使用历史数据作为提示来预测（生成）未来数据。GPD范式建立在时间序列模态上，有效地防止了概念漂移现象，并使任意长度的灵活预测成为可能。我们证明了GPD范式在主流基准测试和各种TSF任务上实现了与当前SOTA LLM-based和深度模型范式相当的综合性能和泛化能力。广泛的实验验证了GPD范式的潜力及其在未来相关研究中的帮助。

本论文旨在探索在多元时间序列预测中使用生成式预训练扩散（GPD）范式的有效性和优越性。该范式可以有效地防止概念漂移现象，并实现任意长度的灵活预测。

论文提出了一种简单的MLP扩散网络来无条件建模时间序列，并采用零样本和无需调整的方法来预测（生成）未来数据。

论文在主流基准和各种多元时间序列预测任务中展示了GPD范式的全面性能和泛化能力，其性能与当前SOTA LLM基础和深度模型范式相当。实验结果表明，GPD范式具有很大的潜力，并有助于未来相关研究。

近年来，生成式预训练模型（如LLMs和LVMs）在人工智能领域取得了革命性进展和广泛的实际应用。与此同时，还有一些相关研究，如交叉模态研究和LVMs的工作。