Intriguing Properties of Positional Encoding in Time Series Forecasting

基于Transformer的方法在时间序列预测（TSF）中取得了显著进展。它们主要处理两种类型的标记，即包含同一时间戳的所有变量的时间标记，以及包含特定变量所有输入时间点的变量标记。Transformer方法依赖位置编码（PE）来标记标记的位置，从而使模型能够感知标记之间的相关性。然而，在TSF中，PE方面的研究仍然不足。为了解决这个问题，我们进行了实验，并揭示了现有PE在TSF中的有趣特性：(i)PE注入的位置信息随着网络深度的增加而减少；(ii)增强深度网络中的位置信息有利于提高模型的性能；(iii)基于标记之间相似性的PE可以提高模型的性能。受这些发现的启发，我们介绍了两种新的PE：用于时间标记的时间位置编码（T-PE）和用于变量标记的变量位置编码（V-PE）。T-PE和V-PE都包含基于标记位置的几何PE和基于标记相似性的语义PE，但使用不同的计算方法。为了利用这两种PE，我们设计了一个基于Transformer的双分支框架，名为T2B-PE。它首先分别计算时间标记的相关性和变量标记的相关性，然后通过门控单元融合双分支特征。广泛的实验证明了T2B-PE的优越鲁棒性和有效性。该代码可在以下链接中找到：\href{https://github.com/jlu-phyComputer/T2B-PE}{https://github.com/jlu-phyComputer/T2B-PE}。

论文旨在解决时间序列预测中位置编码（PE）的问题，提出了两种新的PE方法，并设计了一个基于Transformer的双分支框架T2B-PE。

论文发现现有PE注入的位置信息随着网络深度增加而减弱，因此提出了两种新的PE方法：Temporal Position Encoding（T-PE）和Variable Positional Encoding（V-PE）。T2B-PE框架首先分别计算时间和变量的相关性，然后通过门控单元融合双分支特征。

论文的实验设计充分，使用了多个数据集进行验证，并开源了代码。论文还发现，增强深度网络中的位置信息可以提高模型性能，基于相似性的PE可以进一步提高模型性能。

最近在这个领域中，也有一些研究关注PE的问题。例如，一些研究提出了新的PE方法，如动态PE和自适应PE。