Spatio-Spectral Graph Neural Networks

空间消息传递图神经网络（MPGNN）被广泛用于图结构数据的学习。然而，l步MPGNN的关键限制是它们的“感受野”通常仅限于节点的l-hop邻域，并且远距离节点之间的信息交换受到过度压缩的限制。受这些限制的启发，我们提出了空间-频谱图神经网络（S$^2$GNN）——一种新的图神经网络（GNN）建模范式，它将空间和频谱参数化的图滤波器协同组合起来。在频域部分参数化滤波器使得信息传播全局且高效。我们表明，S$^2$GNN克服了过度压缩，比MPGNN产生了严格的逼近理论误差界限。此外，从根本上重新思考图卷积解锁了新的设计空间。例如，S$^2$GNN允许自由位置编码，使其比1-Weisfeiler-Lehman（WL）测试更具表现力。此外，为了获得通用的S$^2$GNN，我们提出了用于有向图的频谱参数化滤波器。S$^2$GNN在肽长程基准任务上优于空间MPGNN、图变换器和图重连等，并且在最先进的序列建模中具有竞争力。在40 GB GPU上，S$^2$GNN可扩展到数百万个节点。

本论文旨在解决MPGNNs存在的限制问题，即其感受野通常仅限于节点的l-hop邻域，并且远距离节点之间的信息交换受到过度压缩的限制。

该论文提出了一种新的建模范式S$^2$GNNs，它将空间和频谱参数化的图滤波器相互协调地结合起来，部分在频域参数化的滤波器使得全局但高效的信息传播成为可能。

该论文的亮点包括：S$^2$GNNs比空间MPGNNs、图变换器和图重连等方法表现更好；S$^2$GNNs允许自由的位置编码，使其比1-Weisfeiler-Lehman (WL)测试更具表现力；论文提出了面向有向图的频谱参数化滤波器，使得S$^2$GNNs成为通用的图神经网络；在大型GPU上，S$^2$GNNs可扩展到数百万个节点。

最近在这个领域中，还有一些相关研究，例如《Graph Convolutional Networks》、《Semi-Supervised Classification with Graph Convolutional Networks》和《Attention Is All You Need》。