C-Mamba: Channel Correlation Enhanced State Space Models for Multivariate Time Series Forecasting

近年来，使用基于线性、基于Transformer和基于卷积的模型在多元时间序列预测方面取得了重要进展。然而，这些方法面临显着的限制：线性预测器在表示能力方面存在困难，注意机制受到二次复杂度的限制，卷积模型具有受限的感受野。这些约束限制了它们在建模复杂时间序列方面的有效性，特别是在处理具有众多变量的时间序列时。此外，许多模型采用通道独立（CI）策略，将多元时间序列视为不相关的单元时间序列，而忽略它们之间的相关性。对于考虑通道间关系的模型，无论是通过自注意机制、线性组合还是卷积，它们都会产生高计算成本，并且仅关注加权求和关系，忽略通道之间可能存在的比例关系。在这项工作中，我们利用新引入的状态空间模型解决了这些问题，并提出了一种新方法——C-Mamba，它在保持全局感受野的同时捕捉跨通道的依赖关系，同时保持线性复杂度。我们的模型包括两个关键组件：（i）通道混合，其中混合两个通道以增强训练集；（ii）通道注意增强的基于补丁的Mamba编码器，利用状态空间模型捕捉跨时间依赖关系，并通过挖掘它们的权重关系来建模通道之间的相关性。我们的模型在七个真实世界的时间序列数据集上实现了最先进的性能。此外，所提出的混合和注意策略在其他框架中表现出强大的泛化能力。

论文旨在解决现有多变量时间序列预测模型在表示能力、计算复杂度和忽略通道间关联等方面存在的问题，提出一种新的方法C-Mamba。

C-Mamba模型采用状态空间模型，结合通道混合和通道注意力增强的Mamba编码器，既能够保持线性复杂度和全局感受野，又能够捕捉跨通道依赖关系和模型通道间的相关性。

实验结果表明C-Mamba模型在七个真实时间序列数据集上均取得了最先进的性能，通道混合和注意力策略在其他框架中也具有很强的泛化性。论文提出的状态空间模型和通道注意力增强的Mamba编码器也是值得关注的创新点。

最近的相关研究包括使用深度学习模型进行多变量时间序列预测的方法，例如基于线性、Transformer和卷积的模型，以及考虑通道间关系的方法，如自注意机制、线性组合和卷积等。