Revisiting Attention for Multivariate Time Series Forecasting

目前用于多元时间序列预测（MTSF）的电流变压器方法都基于传统的注意力机制。它们涉及序列嵌入和对Q、K和V进行线性投影，然后在这个潜在空间内计算注意力。我们从未深入探讨过注意力机制，以探索这种映射空间是否最适合MTSF。为了研究这个问题，本研究首先提出了一种新的注意力机制——频谱注意力（FSatten），它基于频域空间。它采用傅里叶变换进行嵌入，并引入多头频谱缩放（MSS）来替换Q和K的传统线性映射。FSatten能够准确地捕捉序列之间的周期依赖关系，并且在不改变主流架构的情况下优于传统的注意力。我们进一步设计了一种更通用的方法，称为缩放正交注意力（SOatten）。我们提出了一种正交嵌入和基于相似性偏差的头耦合卷积（HCC），以指导模型学习全面的依赖模式。实验表明，FSatten和SOatten超过了使用传统注意力的SOTA，使它成为MTSF的基本注意力机制的良好替代品。代码和日志文件将在以下网址发布：https://github.com/Joeland4/FSatten-SOatten。

论文旨在探索多元时间序列预测（MTSF）中注意力机制的最优映射空间，并提出两种新的注意力机制（FSatten和SOatten）以解决该问题。

FSatten使用傅里叶变换进行嵌入，并引入多头频谱缩放（MSS）来替换传统的Q和K的线性映射，以更准确地捕捉序列之间的周期依赖性。SOatten则提出了正交嵌入和基于邻近相似性偏差的头耦合卷积（HCC）来指导模型学习全面的依赖关系模式。

论文通过实验表明，FSatten和SOatten能够超越使用传统注意力机制的SOTA，成为MTSF的良好替代基础注意力机制。作者还将代码和日志文件发布在GitHub上。

最近的相关研究包括使用传统注意力机制的MTSF方法，如Seq2Seq和Transformer。