A Temporal Kolmogorov-Arnold Transformer for Time Series Forecasting

2024年06月04日
  • 简介
    本文提出了一种新颖的基于注意力机制的架构——时间Kolmogorov-Arnold变换器(TKAT),旨在解决捕捉多元数据流中复杂的时间模式和关系的难题,使用了时间Kolmogorov-Arnold网络(TKANs)。TKAT是一种强大的编码器-解码器模型,专门处理观察到的特征部分比先验已知部分更重要的任务,受到时间融合变换器(TFT)的启发。这种新的架构将Kolmogorov-Arnold表示的理论基础与变压器的强大功能相结合。TKAT旨在简化时间序列中固有的复杂依赖关系,使其更易于“解释”。在这个框架中使用变压器架构,可以通过自注意机制捕捉长程依赖关系。
  • 图表
  • 解决问题
    论文旨在解决多元数据流中复杂时间模式和关系的捕捉问题,通过提出Temporal Kolmogorov-Arnold Transformer (TKAT)来解决这个问题。
  • 关键思路
    TKAT是一种基于注意力机制的编码器-解码器模型,旨在通过Temporal Kolmogorov-Arnold Networks (TKANs)解决观察到的特征部分比先验已知部分更重要的任务。TKAT结合了Kolmogorov-Arnold表示的理论基础和transformer的强大功能,旨在简化时间序列中固有的复杂依赖关系,使其更具“可解释性”。
  • 其它亮点
    论文使用了自注意机制来捕捉长期依赖关系,实验结果表明,与其他现有模型相比,TKAT在多个数据集上都取得了最先进的性能。论文还开源了代码和数据集。
  • 相关研究
    最近在这个领域中,还有一些相关的研究,如Temporal Fusion Transformer (TFT)。
PDF
原文
点赞 收藏 评论 分享到Link

沙发等你来抢

去评论