Rethinking Spatio-Temporal Transformer for Traffic Prediction:Multi-level Multi-view Augmented Learning Framework

交通预测是一个具有高度复杂的时空相关性的挑战性时空预测问题。本文提出了一种多层多视图增强时空变换器(LVSTformer)用于交通预测。该模型旨在捕捉三个不同层次的空间依赖关系：本地地理、全局语义和关键节点，以及长期和短期的时间依赖关系。具体来说，我们设计了三个空间增强视图，以从本地、全局和关键节点的角度深入挖掘空间信息。通过将三个空间增强视图与三个并行空间自注意机制相结合，该模型可以全面地捕捉不同层次的空间依赖关系。我们设计了一个门控时间自注意机制，以有效地捕捉长期和短期的时间依赖关系。此外，介绍了一个时空上下文广播模块，用于在两个时空层之间确保注意力分配得到很好的分布，减轻过拟合和信息丢失，增强模型的泛化能力和鲁棒性。我们在六个知名的交通基准测试上进行了一系列综合实验，实验结果表明，LVSTformer相比竞争基线模型取得了最先进的性能，最大提升率达到了4.32%。

LVSTformer解决的问题是交通预测中的复杂时空相关性问题。该方法旨在捕捉三个不同层次的空间依赖关系：本地地理、全局语义和关键节点，同时捕捉长期和短期时间依赖关系。

LVSTformer的关键思路是设计三个空间增强视图，结合三个并行的空间自注意机制，以全面地捕捉不同层次的空间依赖关系，并设计门控时间自注意机制来有效地捕捉长期和短期时间依赖关系。

该论文在六个交通基准数据集上进行了广泛的实验，并展示了LVSTformer相对于竞争基线的最先进性能，最大改进达到4.32%。此外，该论文还引入了一个时空上下文广播模块，以确保注意力分配的良好分布，从而提高了模型的泛化能力和鲁棒性。

在交通预测领域的相关研究包括但不限于：《ST-Transformer: Spatio-temporal Attention-based Transformer for Traffic Prediction》、《GMAN: A Graph Multi-Attention Network for Traffic Prediction》、《Diffusion Convolutional Recurrent Neural Network: Data-Driven Traffic Forecasting》等。