SpikeGraphormer: A High-Performance Graph Transformer with Spiking Graph Attention

最近，图形变换器已经成为缓解图神经网络（GNN）固有限制并增强图形表示性能的有希望的解决方案。不幸的是，由于自我关注在大规模图形上应用时固有的二次复杂度，特别是对于节点任务，图形变换器的计算成本很高。相比之下，带有事件驱动和二进制脉冲属性的脉冲神经网络（SNN）可以执行节能计算。在这项工作中，我们提出了一种将SNN与图形变换器集成的新洞见，并设计了一个脉冲图形关注（SGA）模块。矩阵乘法被稀疏加法和掩码操作所取代。线性复杂度使得在具有有限GPU内存的大规模图形上进行全对节点交互成为可能。据我们所知，我们的工作是首次尝试将SNN引入图形变换器中。此外，我们设计了SpikeGraphormer，一种双分支架构，将稀疏GNN分支与我们的SGA驱动的图形变换器分支相结合，可以同时执行全对节点交互并捕获局部邻域。SpikeGraphormer在各种数据集上始终优于现有的最先进方法，并在训练时间、推理时间和GPU内存成本方面取得了实质性的改进（比香草自我关注低10〜20倍）。它在跨领域应用（图像和文本分类）中也表现良好。我们在https://github.com/PHD-lanyu/SpikeGraphormer上发布了我们的代码。

论文旨在解决Graph Transformers在处理大规模图数据时计算复杂度高的问题，同时提出了将Spiking Neural Networks与Graph Transformers相结合的新思路。

论文提出了Spiking Graph Attention (SGA)模块，通过稀疏加法和掩码操作代替矩阵乘法，实现了线性复杂度，从而能够在有限的GPU内存下进行大规模图数据的全节点交互。

论文提出的SpikeGraphormer模型在各种数据集上都优于现有的最先进方法，训练时间、推理时间和GPU内存成本都有显著改善（比纯自注意力低10~20倍）。该模型还在跨领域应用（图像和文本分类）中表现良好。论文提供了开源代码。

近期相关研究包括：《GNNs与自注意力的结合》、《Spiking Neural Networks的应用》、《稀疏矩阵乘法的优化方法》等。