Integrating Mamba and Transformer for Long-Short Range Time Series Forecasting

时间序列预测是一个重要的问题，在各种应用中发挥着关键作用，包括天气预报、股票市场和科学模拟。虽然Transformer已被证明在捕捉依赖关系方面很有效，但其注意力机制的二次复杂度阻止了它在长时间序列预测中的进一步应用，从而限制了它对短时间序列的关注。最近在状态空间模型（SSMs）上取得的进展表明，由于其次二次复杂度，它们在建模长期依赖性方面表现出色。作为代表性的SSM，Mamba具有线性时间复杂度，并在需要扩展到长序列的任务（如语言、音频和基因组学）中实现了强大的可扩展性。在本文中，我们提出了一种混合框架Mambaformer，它在内部结合了Mamba和Transformer，用于长短时间序列预测。据我们所知，这是第一篇在时间序列数据中结合Mamba和Transformer架构的论文。我们研究了可能的混合架构，以组合Mamba层和注意力层，用于长短时间序列预测。比较研究表明，Mambaformer系列在长短时间序列预测问题上可以优于Mamba和Transformer。代码可在https://github.com/XiongxiaoXu/Mambaformerin-Time-Series获得。

本论文旨在解决长短时序预测中长序列依赖性建模问题，通过结合Mamba和Transformer架构提出了Mambaformer混合框架。

Mambaformer混合框架内部结合Mamba和Transformer，利用Mamba处理长序列依赖性，利用Transformer处理短序列依赖性，从而提高长短时序预测的准确性。

论文进行了混合架构的比较研究，发现Mambaformer在长短时序预测问题上表现优于Mamba和Transformer。研究使用了开源的代码和多个数据集，并且提供了代码链接。

最近的相关研究包括基于SSM的长序列建模和基于Transformer的短序列建模，例如论文《Gaussian Process State-Space Models with Variational Inference》和《Attention Is All You Need》。