UniTST: Effectively Modeling Inter-Series and Intra-Series Dependencies for Multivariate Time Series Forecasting

Transformer-based models已经成为多元时间序列预测（MTSF）的强大工具。然而，现有的Transformer模型通常无法捕捉MTS数据中变量和时间维度之间的复杂依赖关系。一些最近的模型通过两个顺序或并行的注意机制分别捕捉变量和时间依赖关系。然而，这些方法不能直接和明确地学习复杂的跨系列和内部系列的依赖关系。在本文中，我们首先证明这些依赖关系非常重要，因为它们通常存在于真实世界的数据中。为了直接建模这些依赖关系，我们提出了一个基于Transformer的模型UniTST，其中包含一个统一的注意机制来处理扁平化的补丁标记。此外，我们添加了一个分发器模块，以降低复杂度，使模型适用于可能很多变量的情况。尽管我们提出的模型采用了简单的架构，但在我们对几个时间序列预测数据集进行的广泛实验中，它展现出了强大的性能。

论文旨在解决多变量时间序列预测中Transformer模型无法捕捉变量和时间维度上的复杂依赖关系的问题，提出了一种新的模型UniTST，以直接建模序列之间和序列内部的依赖关系。

UniTST模型采用了统一的注意力机制和调度器模块，以处理大量变量的复杂性，并在多个数据集上展现出了强大的性能。

论文提出的UniTST模型可以在处理多变量时间序列预测问题时直接建模序列之间和序列内部的依赖关系，相比于现有的方法，UniTST模型具有更好的性能。论文使用了多个数据集进行实验，并且开源了代码。

相关研究包括使用Transformer模型进行多变量时间序列预测的先前工作，以及其他建模序列依赖关系的方法，例如RNN和GCN。