LSTTN: A Long-Short Term Transformer-based Spatio-temporal Neural Network for Traffic Flow Forecasting

准确的交通预测是智能交通系统中的一个基本问题，通过时空图神经网络（STGNNs）学习具有关键信息的长程交通表示是当前交通流预测模型的基本假设。然而，由于结构限制，现有的STGNNs只能利用短程交通流数据；因此，这些模型无法充分学习交通流中的复杂趋势和周期特征。此外，从长时间历史交通序列中提取关键的时间信息并获得紧凑的表示也是具有挑战性的。为了解决上述问题，我们提出了一种新颖的LSTTN（基于长短期变压器网络）框架，全面考虑历史交通流中的长期和短期特征。首先，我们采用一个掩码子序列变压器，以预训练的方式从少量未掩码子序列和它们的时间上下文中推断出掩码子序列的内容，从而迫使模型从长时间历史序列中高效地学习压缩和上下文子序列时间表示。然后，基于学习到的表示，通过使用堆叠的1D膨胀卷积层提取长期趋势，并通过动态图卷积层提取周期特征。对于进行时间步预测的困难，LSTTN采用短期趋势提取器来学习精细的短期时间特征。最后，LSTTN将长期趋势、周期特征和短期特征融合起来，获得预测结果。在四个真实数据集上的实验表明，在60分钟的长期预测中，LSTTN模型相对于基线模型的最小改进为5.63％，最大改进为16.78％。源代码可在https://github.com/GeoX-Lab/LSTTN上获得。

解决长时间预测交通流量的问题，包括如何学习长期和短期交通特征，如何提取长期趋势和周期性特征，以及如何进行时间步长级别的预测。

提出了一种LSTTN框架，综合考虑历史交通流量的长期和短期特征。使用掩码子序列Transformer来学习压缩和上下文子序列的时间表示，使用堆叠的1D膨胀卷积层提取长期趋势，使用动态图卷积层提取周期性特征，并使用短期趋势提取器进行细粒度的短期特征学习。

实验使用了四个真实数据集，证明LSTTN模型在60分钟先行长期预测方面，相对于基线模型，最小提升5.63％，最大提升16.78％。此外，LSTTN模型的源代码也已经公开。

最近的相关研究包括：1）使用STGNN框架进行交通流量预测; 2）使用多任务学习来预测不同时间范围内的交通流量; 3）使用卷积神经网络和循环神经网络进行交通流量预测。