State Space Models on Temporal Graphs: A First-Principles Study

近年来，深度图学习的研究从静态图转向了时态图，以应对展现出动态行为的真实世界复杂系统。在实践中，时态图被形式化为在离散时间点观察到的静态图快照的有序序列。像RNN或Transformer这样的序列模型长期以来一直是建模这种时态图的主要骨干网络。然而，尽管有着很有前途的结果，RNN难以处理长程依赖，而Transformer则被二次计算复杂度所拖累。最近，状态空间模型（SSM）以离散化表示连续时间线性动态系统的框架，引起了广泛关注，并在独立序列建模方面取得了突破性进展。在这项工作中，我们进行了一项原则性的研究，将SSM理论扩展到时态图，通过采用拉普拉斯正则化项将结构信息整合到在线逼近目标中。新出现的连续时间系统引入了新的算法挑战，因此我们需要开发GraphSSM，一种用于建模时态图动态的图状态空间模型。广泛的实验结果证明了我们的GraphSSM框架在各种时态图基准测试中的有效性。

本文试图将状态空间模型（SSM）理论扩展到时间图，通过采用拉普拉斯正则化项将结构信息整合到在线逼近目标中，从而建立图状态空间模型（GraphSSM）以模拟时间图的动态性。

本文提出了一种新的方法来建立时间图的状态空间模型，通过引入拉普拉斯正则化项，将结构信息整合到在线逼近目标中，从而建立连续时间系统。

本文提出的GraphSSM模型在多个时间图基准测试中表现出很好的效果，并且相比于当前流行的RNN和Transformer模型，GraphSSM模型更加适用于长距离依赖关系，并且具有更低的计算复杂度。本文的实验设计详细，使用了多个数据集，并且开源了代码。

最近的相关研究包括：'Temporal Graph Networks for Deep Learning on Dynamic Graphs'、'A Comprehensive Survey on Graph Neural Networks'、'Graph Convolutional Networks: A Comprehensive Review'等。