Efficient and Effective Implicit Dynamic Graph Neural Network

隐式图神经网络近年来因其能够捕获长程依赖并提高静态图的预测性能而受到欢迎。虽然在动态图中，由于特征在邻域和时间上的聚合，学习嵌入过度平滑和长程依赖更加明显，性能会下降，但是之前没有任何工作在动态设置中提出了隐式图神经模型。本文提出了一种新颖的隐式神经网络模型——隐式动态图神经网络(IDGNN)，它是第一种这样的模型。IDGNN的一个关键特征是它可以被证明是良好的，即在理论上保证有一个固定点表示。然后我们证明了在动态设置中，通常用于训练隐式模型的标准迭代算法是计算密集型的，因为它涉及到计算梯度，这些梯度本身必须以迭代方式估计。为了克服这一问题，我们提出了一个等价的双层优化问题，并提出了一种高效的单循环训练算法，通过维护梯度的关键组成部分的移动平均数来避免迭代计算。我们在真实世界的数据集上进行了大量实验，包括分类和回归任务，以证明我们的方法优于现有的基准方法。我们还证明了我们的双层优化框架可以在获得高达\textbf{1600x}的加速的同时保持昂贵迭代算法的性能。

本论文旨在解决动态图中的隐式图神经网络训练问题。虽然静态图中的隐式图神经网络已经被广泛研究，但是在动态图中，由于特征需要在邻域和时间上进行聚合，因此长程依赖更加明显，而学习嵌入的过度平滑会导致性能下降。因此，本文提出了一种新的隐式动态图神经网络模型。

本文提出的IDGNN模型是第一种在动态图中使用的隐式神经网络模型。IDGNN是一个良好定义的模型，具有固定点表示的理论保证。为了解决动态图中的训练问题，本文提出了一种新的单循环训练算法，该算法避免了迭代计算，并且在维持性能的同时获得了高达1600倍的加速。

本文的实验结果表明，相对于现有的基线模型，IDGNN在分类和回归任务上都具有更好的性能。此外，本文提出的双层优化框架在获得与昂贵的迭代算法相同的性能的同时，获得了高达1600倍的加速。该研究使用了真实世界的数据集，并且提供了开源代码。

最近的相关研究包括动态图神经网络和隐式神经网络。其中一些论文包括：Dynamic Graph Convolutional Networks、Diffusion Convolutional Recurrent Neural Network、Implicit Graph Neural Networks等。