PolyFormer: Scalable Node-wise Filters via Polynomial Graph Transformer

光谱图神经网络在图表征学习中表现出优越的性能。然而，许多目前的方法都集中于使用共享的多项式系数，即学习节点统一的滤波器，这限制了滤波器在节点级任务中的灵活性。最近的DSF试图通过基于位置编码学习节点的系数来克服这个限制。然而，位置编码的初始化和更新过程很繁琐，阻碍了在大规模图上的可扩展性。在这项工作中，我们提出了一种可扩展的节点滤波器PolyAttn。利用注意机制，PolyAttn可以直接高效地学习节点滤波器，提供强大的表征能力。在PolyAttn的基础上，我们引入了整个模型，称为PolyFormer。在图形变换器模型的视角下，PolyFormer在节点内计算注意力分数，具有很强的可扩展性。此外，该模型捕捉谱信息，增强了表达能力，同时保持了效率。凭借这些优势，PolyFormer在节点级任务的可扩展性和表达能力之间提供了理想的平衡。广泛的实验表明，我们提出的方法在学习任意节点滤波器方面表现出优越的性能，不论是同质图还是异质图，并且可以处理包含多达1亿个节点的图形。代码可在https://github.com/air029/PolyFormer上获得。

本文旨在解决图表示学习中节点统一滤波器的灵活性受限的问题，并提出了一种可扩展的基于注意力机制的节点滤波器方案。

本文提出了一种名为PolyAttn的可扩展的节点滤波器，利用注意力机制直接学习节点特定的滤波器，同时保持高效性和表现力。

本文提出的PolyFormer模型在节点级任务中表现优异，能够处理高达1亿个节点的图，且具有较强的表现力和可扩展性。实验结果表明，PolyFormer在学习任意节点滤波器方面表现出色，适用于同质和异质图。

在最近的相关研究中，还有一些使用图神经网络进行图表示学习的方法，例如GCN、GraphSAGE和GAT等。