TIDFormer: Exploiting Temporal and Interactive Dynamics Makes A Great Dynamic Graph Transformer

由于自注意力机制（SAMs）在序列建模中捕捉依赖关系的高效性，现有的若干动态图神经网络（DGNNs）利用了带有不同编码设计的Transformer架构，以捕捉动态图的序列演化。然而，这些基于Transformer的DGNNs的有效性和效率存在显著差异，这突显了在动态图上合理定义自注意力机制，并全面编码时间和交互动态的重要性，同时避免引入额外复杂的模块。在本工作中，我们提出了TIDFormer，一种能够高效利用时间动态和交互动态的动态图Transformer。我们阐明并验证了所提出的自注意力机制的可解释性，解决了以往工作中关于动态图上自注意力机制定义不可解释的开放问题。为了分别建模时间和交互动态，我们使用基于日历的时间划分信息，并通过仅采样一阶邻居，为二分图和非二分图提取有意义的交互嵌入。此外，我们通过简单的分解方法捕获历史交互模式中的潜在变化，从而联合建模时间和交互特征。我们在多个动态图数据集上进行了广泛的实验，以验证TIDFormer的有效性和效率。实验结果表明，TIDFormer表现出色，在大多数数据集和实验设置中超越了现有最先进的模型。此外，与之前的基于Transformer的方法相比，TIDFormer展现了显著的效率优势。

论文试图解决动态图神经网络（DGNN）中自注意力机制（SAM）在建模时序和交互动态方面的有效性与效率问题。具体而言，如何在不引入复杂模块的情况下，设计可解释的SAM来捕捉动态图中的时序演化和节点间交互模式。

TIDFormer通过分解时序和交互动态，利用日历时间分块信息建模时序特征，并通过采样一阶邻居提取交互嵌入，适用于二部图和非二部图。此外，它通过简单的分解方法联合建模历史交互模式的变化，强调了高效性和可解释性，解决了以往工作中SAM定义不清晰的问题。

1. 提出了基于日历时间分块和一阶邻居采样的方法，避免了复杂的模块设计；2. 验证了SAM在动态图上的可解释性；3. 在多个动态图数据集上进行了广泛的实验，证明了模型的有效性和效率；4. 开源代码尚未提及，但模型设计简单，便于复现；5. 值得进一步研究的内容包括：更复杂的交互模式建模以及对大规模动态图的支持。

相关工作包括：1. Dynamic Graph Attention Networks (DyGAT)，探讨了时序图上的注意力机制；2. EvolveGCN，提出了基于RNN的动态图卷积网络；3. JODIE，结合用户-物品交互建模时序动态；4. Transformer-based DGNNs如TGAT，利用Transformer架构处理时序依赖。