MambaTS: Improved Selective State Space Models for Long-term Time Series Forecasting

近年来，变形金刚已成为长期序列预测(LTSF)的事实标准架构，但面临二次复杂度和置换不变偏差等挑战。最近，一种基于选择性状态空间模型(SSMs)的模型Mamba已成为变形金刚的竞争性替代品，具有与序列长度相关的更高吞吐量和线性复杂度的可比性能。在本研究中，我们分析了当前Mamba在LTSF中的局限性，并提出了四个有针对性的改进，从而产生了MambaTS。我们首先引入了沿时间的变量扫描，将所有变量的历史信息排列在一起。我们建议，在LTSF中，Mamba中的因果卷积是不必要的，并提出了时间Mamba块(TMB)。我们进一步为TMB的选择性参数引入了一个dropout机制，以减轻模型过度拟合的问题。此外，我们通过引入变量置换训练来解决变量扫描顺序敏感性的问题。我们进一步提出了变量感知的沿时间扫描，以在训练期间动态发现变量关系，并通过解决访问所有节点问题的最短路径来解码最佳变量扫描顺序。在八个公共数据集上进行的广泛实验表明，MambaTS实现了新的最先进性能。

MambaTS试图解决长期序列预测中Transformer存在的二次复杂度和置换不变偏差等问题，提出了四个改进方案，以达到更好的性能。

MambaTS的关键思路是采用变量扫描、时变Mamba块（TMB）、选择性参数随机失活以及变量置换训练等方法，以提高模型性能。

论文在8个公共数据集上进行了广泛实验，证明了MambaTS在长期序列预测方面取得了最新的最佳表现。论文还提供了开源代码。

与MambaTS相关的研究包括Transformer、SSM等模型。