Chronos: Learning the Language of Time Series

2024年03月12日
  • 简介
    我们介绍了Chronos,这是一个简单而有效的预训练概率时间序列模型框架。Chronos使用缩放和量化将时间序列值标记化为固定词汇,并通过交叉熵损失训练现有的基于Transformer的语言模型架构。我们在公开可用的大量数据集上预训练Chronos模型,包括我们通过高斯过程生成的合成数据集,以提高泛化性能。在包括42个数据集的全面基准测试中,涵盖了传统的本地模型和深度学习方法,我们展示了Chronos模型:(a)在训练语料库中的数据集上显著优于其他方法;(b)相对于专门针对它们进行训练的方法,在新数据集上具有可比甚至更好的零-shot表现。我们的结果表明,Chronos模型可以利用来自不同领域的时间序列数据,提高在未见过的预测任务上的零-shot准确性,从而将预训练模型定位为极大简化预测流程的可行工具。
  • 图表
  • 解决问题
    Chronos论文旨在解决预测时间序列的问题,通过预训练概率时间序列模型来简化预测管道。
  • 关键思路
    Chronos使用定量化和缩放将时间序列值标记化为固定词汇,并通过交叉熵损失训练现有的基于Transformer的语言模型架构。Chronos预训练模型在大量公开数据集上进行了训练,包括通过高斯过程生成的合成数据集,以提高泛化能力。
  • 其它亮点
    论文在42个数据集上进行了全面的基准测试,包括传统的本地模型和深度学习方法。结果表明,Chronos模型在训练集中表现显著优于其他方法,并且在新数据集上具有可比和偶尔更好的零样本性能,相对于专门针对它们进行训练的方法。
  • 相关研究
    最近在这个领域中,还有一些相关的研究,如Prophet、GluonTS、DeepAR等。
PDF
原文
点赞 收藏 评论 分享到Link

沙发等你来抢

去评论