FMamba: Mamba based on Fast-attention for Multivariate Time-series Forecasting

在多元时间序列预测（MTSF）中，提取输入序列的时间相关性至关重要。虽然流行的基于Transformer的预测模型表现良好，但其二次计算复杂度导致效率低下和开销高昂。最近出现的选择性状态空间模型Mamba，由于其强大的时间特征提取能力和线性计算复杂度，在许多领域显示出了很好的效果。然而，由于Mamba的单边性质，基于Mamba的独立于通道的预测模型不能像基于Transformer的模型那样关注所有变量之间的关系。为了解决这个问题，我们将快速注意力机制与Mamba相结合，引入了一种名为FMamba的新框架用于MTSF。技术上，我们首先通过嵌入层提取输入变量的时间特征，然后通过快速注意力模块计算输入变量之间的依赖关系。随后，我们使用Mamba选择性地处理输入特征，并通过多层感知机块（MLP块）进一步提取变量的时间依赖性。最后，FMamba通过线性层“projector”获得预测结果。在八个公共数据集上的实验结果表明，FMamba可以在保持低计算开销的同时实现最先进的性能。

论文旨在解决多元时间序列预测中提取输入序列的时间相关性的问题。当前基于Transformer的预测模型表现良好，但由于二次计算复杂度，效率低下，开销高。而新兴的选择性状态空间模型Mamba，由于其强大的时间特征提取能力和线性计算复杂度，在许多领域已经显示出了很好的效果。然而，由于Mamba的单向性质，基于Mamba的独立于通道的预测模型不能像基于Transformer的模型一样关注所有变量之间的关系。

为了解决这个问题，论文将快速注意力机制与Mamba相结合，提出了一种名为FMamba的新框架。首先通过嵌入层提取输入变量的时间特征，然后通过快速注意力模块计算输入变量之间的依赖关系。随后，使用Mamba来选择性地处理输入特征，并通过多层感知器块（MLP块）进一步提取变量的时间依赖关系。最后，FMamba通过线性层的投影器获得预测结果。

论文在八个公共数据集上进行了实验，结果表明FMamba在保持低计算开销的同时，可以实现最先进的性能。该论文的亮点包括：提出了一种新的框架FMamba，将快速注意力机制与Mamba相结合，实现了更好的性能和更低的计算开销；实验结果表明，FMamba在多元时间序列预测中具有很好的效果；

最近在这个领域中，一些相关的研究包括：'Multivariate Time Series Forecasting with Hybrid Deep Learning Based on Convolutional Neural Networks and Long Short-Term Memory'，'Multivariate Time Series Forecasting with LSTM and Encoder-Decoder Architecture'等。