Spectral State Space Models

Naman Agarwal ,
Daniel Suo ,
Xinyi Chen ,
Elad Hazan
2000
热度
ML
2023年12月11日
  • 简介
    本文研究了具有长期依赖性的预测任务的序列建模。我们提出了一种新的状态空间模型公式,该公式基于使用谱过滤算法[HSZ17]学习线性动态系统。这导致了一种称为谱状态空间模型的新颖序列预测架构。所得模型在合成的动态系统上进行了评估。这些评估支持谱过滤在需要非常长期记忆的任务中的理论优势。
  • 图表
  • 解决问题
    本文研究长期依赖的序列建模预测任务。论文旨在通过学习基于谱滤波算法的线性动态系统的状态空间模型,提出一种新的序列预测架构,称为谱状态空间模型,以解决需要非常长期记忆的任务。
  • 关键思路
    论文的关键思路是通过学习线性动态系统的状态空间模型,利用谱滤波算法来实现序列建模,以解决长期依赖的问题。相比现有研究,该论文的思路具有新意。
  • 其它亮点
    论文在合成动态系统上进行了模型评估,支持谱滤波在需要非常长期记忆的任务中的理论优势。此外,论文还提供了开源代码。
  • 相关研究
    最近的相关研究包括《Long Short-Term Memory》、《Gated Recurrent Unit》等。
PDF
原文
点赞 收藏 评论 分享到Link

沙发等你来抢

去评论