DeformTime: Capturing Variable Dependencies with Deformable Attention for Time Series Forecasting

DeformTime是一种神经网络架构，旨在捕捉输入空间中相关的时间模式，从而提高预测准确性。在多元时间序列（MTS）预测中，现有的最先进的深度学习方法往往集中于自回归公式，忽视外生指标中的信息。为解决这一限制，DeformTime采用了由可变形注意块（DAB）执行的两个核心操作：从不同时间步骤的变量中学习变量之间的依赖关系（变量DAB）和保留先前时间步骤中数据的时间依赖性（时间DAB）。输入数据转换被明确设计为通过DAB传递的变形信息序列的增强学习。我们对6个MTS数据集进行了广泛的实验，使用先前建立的基准以及具有更多外生变量的具有挑战性的传染病建模任务。结果表明，DeformTime在绝大多数MTS预测任务中提高了准确性，平均降低了平均绝对误差10%。值得注意的是，在较长的预测时间范围内，性能提高保持一致。

DeformTime试图解决MTS（多元时间序列）预测中忽略外生指标信息的问题，提高预测准确性。

DeformTime采用可变形注意力块（DAB）来学习不同时间步骤间变量之间的依赖关系和保留来自先前时间步骤的数据的时间依赖性，从而提高预测准确性。

论文在6个MTS数据集上进行广泛实验，结果表明DeformTime在绝大多数MTS预测任务中提高了准确性，平均降低了10%的平均绝对误差。实验设计详细，使用了多个数据集，且开源代码可用。

最近的相关研究包括使用DAB的其他时间序列预测方法，如Deformable TS-LSTM和Deformable GNN。