STanHop: Sparse Tandem Hopfield Model for Memory-Enhanced Time Series Prediction

我们提出了STanHop-Net（稀疏串联Hopfield网络），用于具有记忆增强功能的多元时间序列预测。我们方法的核心是STanHop，一种新的基于Hopfield的神经网络块，它以数据相关的方式稀疏地学习和存储时间和跨系列表示。实质上，STanHop使用两个串联的稀疏Hopfield层顺序地学习时间表示和跨系列表示。此外，StanHop还包括两个额外的外部存储模块：Plug-and-Play模块和Tune-and-Play模块，分别用于无需训练和任务感知的记忆增强。它们使StanHop-Net能够迅速响应某些突发事件。在方法上，我们通过分层堆叠STanHop块构建StanHop-Net，实现具有分辨率特定稀疏性的多分辨率特征提取。在理论上，我们引入了现代Hopfield模型的稀疏扩展（广义稀疏现代Hopfield模型），并显示它相对于不牺牲存储容量的密集对应物具有更紧密的存储检索误差。在实证上，我们在合成和实际环境中验证了我们框架的有效性。

本论文旨在解决多元时间序列预测的问题，并提出了一种基于稀疏Tandem Hopfield网络的解决方案。

论文提出了一种基于稀疏Tandem Hopfield网络的框架，通过两个串联的稀疏Hopfield层分别学习时序和跨序列表示，并引入Plug-and-Play和Tune-and-Play两个外部记忆模块进行记忆增强。

论文在理论上提出了现代Hopfield模型的稀疏扩展，并在实验中验证了该模型的有效性。实验设计了合成数据和真实数据集，并展示了该框架在多元时间序列预测方面的优越性。

最近的相关研究包括：《Multivariate Time Series Forecasting with Deep Learning: A Review》、《Deep Learning for Time Series Forecasting: A Survey》等。