A Survey of Time Series Foundation Models: Generalizing Time Series Representation with Large Language Model

2024年05月03日
  • 简介
    时间序列数据在各个领域普遍存在,因此时间序列分析至关重要。传统的时间序列模型是针对特定任务的,具有单一功能和有限的泛化能力。最近,大型语言基础模型揭示了它们在跨任务可迁移性、零样本/少样本学习和决策可解释性方面的出色能力。这种成功引发了对基础模型在同时解决多个时间序列挑战方面的探索。有两个主要的研究方向,即从头开始预训练基础模型用于时间序列和适应大型语言基础模型用于时间序列。它们都有助于开发高度通用、多功能和可理解的统一模型,用于时间序列分析。本文提供了一个3E分析框架,以全面审查相关研究。具体而言,我们从三个维度,即效果、效率和可解释性,考虑现有工作。在每个维度上,我们重点讨论相关工作如何通过考虑时间序列领域的独特挑战来设计量身定制的解决方案。此外,我们提供了一个领域分类法,以帮助关注者跟上领域特定的进展。此外,我们介绍了广泛的资源,以促进该领域的发展,包括数据集、开源、时间序列库。我们还维护了一个GitHub存储库,以更新资源(https://github.com/start2020/Awesome-TimeSeries-LLM-FM)。
  • 图表
  • 解决问题
    论文试图探索基于大型语言模型的时间序列分析方法,解决传统时间序列模型的局限性,提高模型的通用性和可解释性
  • 关键思路
    通过预训练基于大型语言模型的时间序列模型或者对现有的大型语言模型进行适应,探索一种高度通用、灵活、可解释的时间序列分析模型
  • 其它亮点
    论文提出了一个3E分析框架,分别从效果、效率和可解释性三个维度对相关研究进行综合考察。此外,还提供了数据集、开源代码和时间序列库等丰富资源,方便研究者进行实验和开发。值得进一步研究探索。
  • 相关研究
    近期的相关研究包括基于深度学习的时间序列分析方法、基于大数据和机器学习的时间序列预测、基于神经网络的时间序列建模等。例如:'DeepAR: Probabilistic Forecasting with Autoregressive Recurrent Networks'、'Time Series Classification from Scratch with Deep Neural Networks: A Strong Baseline'等。
PDF
原文
点赞 收藏 评论 分享到Link

沙发等你来抢

去评论