InjectTST: A Transformer Method of Injecting Global Information into Independent Channels for Long Time Series Forecasting

Transformer已成为多元时间序列（MTS）预测中最受欢迎的架构之一。最近基于Transformer的MTS模型通常倾向于采用独立于通道的结构，因为通道独立可以缓解噪声和分布漂移问题，从而提高了鲁棒性。然而，需要注意的是，通道依赖性仍然是MTS的固有特征，携带着有价值的信息。设计一种同时融合通道独立和通道混合结构优点的模型是进一步改进MTS预测的关键，这是一个具有挑战性的难题。为了解决这个问题，本文提出了一种将全局信息注入通道独立Transformer的注入方法InjectTST。我们保留了通道独立的主干，逐渐以选择性的方式向各个通道注入全局信息，而不是直接设计通道混合模型。InjectTST设计了一个通道标识符、一个全局混合模块和一个自上下文关注模块。通道标识符可以帮助Transformer更好地区分通道以获得更好的表示。全局混合模块生成跨通道的全局信息。通过自上下文关注模块，独立通道可以有选择地集中于有用的全局信息，而不会降低鲁棒性，并隐含地实现通道混合。实验表明，与最先进的模型相比，InjectTST可以实现稳定的改进。

如何在Transformer模型中同时保留独立通道和通道之间的信息交互，以提高多元时间序列（MTS）预测的准确性？

在通道独立的Transformer模型中注入全局信息，通过通道识别器、全局混合模块和自我上下文注意力模块实现通道之间的信息交互。

论文提出的InjectTST模型在多个数据集上进行了实验，证明了其相对于其他最先进的模型的稳定提升。论文还开源了代码。

最近的相关研究包括：'Multivariate Time Series Forecasting with Hybrid Deep Learning Models'、'DeepAR: Probabilistic Forecasting with Autoregressive Recurrent Networks'等。