CausalFormer: An Interpretable Transformer for Temporal Causal Discovery

时序因果发现是一项关键任务，旨在揭示时间序列数据中的因果关系。最新的时序因果发现方法通常通过训练深度学习模型来揭示时间序列之间的因果关系。它们通过分析训练模型的某些组件（例如注意力权重和卷积权重）的参数来捕捉因果关系。然而，这是从模型参数到因果关系的不完整映射过程，未能研究其他组件（例如全连接层和激活函数），这些组件对因果发现也很重要。为了促进深度学习模型在时序因果发现中的整体应用，我们提出了一种可解释的基于Transformer的因果发现模型，称为CausalFormer，它由具有因果意识的Transformer和基于分解的因果检测器组成。具有因果意识的Transformer使用设计的多核因果卷积在时间优先约束下沿时间维度聚合每个输入时间序列，通过预测任务学习时间序列数据的因果表示。然后，基于分解的因果检测器使用提出的回归相关传播来解释训练的具有因果意识的Transformer的全局结构，以识别潜在的因果关系并最终构建因果图。合成、模拟和真实数据集上的实验证明了CausalFormer在发现时序因果关系方面的最新性能。我们的代码可在https://github.com/lingbai-kong/CausalFormer上获得。

论文旨在解决时间序列数据中的因果关系发现问题，通过训练深度学习模型来揭示时间序列之间的因果关系。

论文提出了一个可解释的基于transformer的因果发现模型CausalFormer，其中包括因果感知transformer和分解式因果检测器。因果感知transformer使用设计的多核因果卷积学习时间序列数据的因果表示，并使用回归相关传播方法解释训练后的模型的全局结构以识别潜在的因果关系并构建因果图。

论文在合成、模拟和真实数据集上进行了实验，证明了CausalFormer在时间因果发现方面的最新性能。该论文提出的回归相关传播方法可以用于解释其他深度学习模型的全局结构，CausalFormer的代码已经开源。

最近的相关研究包括基于因果推理的时间序列因果关系发现方法，如ANM和CAM，以及基于神经网络的因果关系发现方法，如DeepLiDAR和TCDF。