图Transformer专题【持续更新中】

图神经网络（GNN）已成为处理图结构数据的重要工具，它通过消息传递机制聚合局部邻域信息来生成新的表示。然而，这类基于消息传递的图神经网络往往面临表达能力有限、过度平滑和过度压缩等问题。为了克服这些限制，研究者们转向了Transformer架构。与传统的图神经网络不同，Transformer通过其独特的自注意力层，能够捕获图中任意节点对之间的交互信息，而不仅仅是局部邻域的信息。这种设计避免了引入中间层的任何结构化偏置，从而显著增强了图数据的表达能力。本专题将深入探讨这种融合了图神经网络和Transformer架构的Graph Transformer。

1. 图Transformer中的位置编码

1.Rethinking Graph Transformers with Spectral Attention. NeurIPS 2021

• 作者选择使用图拉普拉斯矩阵（Graph Laplacian，L）的特征向量φ作为图的位置编码。这也是本文的核心。拉普拉斯算子对应于梯度的散度，其特征函数是正弦/余弦函数，其中平方频率对应于特征值。因此，在图领域中，图拉普拉斯矩阵的特征向量自然地成为了正弦函数的平替

2.Structure-Aware Transformer for Graph Representation Learning. ICML 2022

• 作者引入了结构感知Transformer,成功地将结构信息整合到了Transformer架构中,克服了绝对编码的局限.