Spectral State Space Models

本文研究了具有长期依赖性的预测任务的序列建模。我们提出了一种新的状态空间模型公式，该公式基于使用谱过滤算法[HSZ17]学习线性动态系统。这导致了一种称为谱状态空间模型的新颖序列预测架构。所得模型在合成的动态系统上进行了评估。这些评估支持谱过滤在需要非常长期记忆的任务中的理论优势。

本文研究长期依赖的序列建模预测任务。论文旨在通过学习基于谱滤波算法的线性动态系统的状态空间模型，提出一种新的序列预测架构，称为谱状态空间模型，以解决需要非常长期记忆的任务。

论文的关键思路是通过学习线性动态系统的状态空间模型，利用谱滤波算法来实现序列建模，以解决长期依赖的问题。相比现有研究，该论文的思路具有新意。

论文在合成动态系统上进行了模型评估，支持谱滤波在需要非常长期记忆的任务中的理论优势。此外，论文还提供了开源代码。

最近的相关研究包括《Long Short-Term Memory》、《Gated Recurrent Unit》等。