图Transformer专题【持续更新中】

图神经网络（GNN）已成为处理图结构数据的重要工具，它通过消息传递机制聚合局部邻域信息来生成新的表示。然而，这类基于消息传递的图神经网络往往面临表达能力有限、过度平滑和过度压缩等问题。为了克服这些限制，研究者们转向了Transformer架构。与传统的图神经网络不同，Transformer通过其独特的自注意力层，能够捕获图中任意节点对之间的交互信息，而不仅仅是局部邻域的信息。这种设计避免了引入中间层的任何结构化偏置，从而显著增强了图数据的表达能力。本专题将深入探讨这种融合了图神经网络和Transformer架构的Graph Transformer。

1. 图Transformer中的位置编码

1.1 Rethinking Graph Transformers with Spectral Attention. NeurIPS 2021
作者选择使用图拉普拉斯矩阵（Graph Laplacian，L）的特征向量φ作为图的位置编码。这也是本文的核心。拉普拉斯算子对应于梯度的散度，其特征函数是正弦/余弦函数，其中平方频率对应于特征值。因此，在图领域中，图拉普拉斯矩阵的特征向量自然地成为了正弦函数的平替

1.2 Structure-Aware Transformer for Graph Representation Learning. ICML 2022
作者引入了结构感知Transformer,成功地将结构信息整合到了Transformer架构中,克服了绝对编码的局限.

1.3 Randomized Positional Encodings Boost Length Generalization of TransformersTransformers在固定上下文长度的任务上具有很好的泛化能力。然而，它们无法泛化到任意长度的序列，比如很简单的任务，如复制字符串。此外，由于全局注意力机制的计算复杂性，简单地在更长的序列上进行训练是十分低效的。在这项工作中，作者证明这种失败模式与位置编码对于更长序列的分布（即使对于相对编码）是相关的，为此作者引入一种新的位置编码家族，可以克服这个问题。具体来说，作者提出了随机位置编码方案模拟了更长序列的位置，并随机选择一个有序子集来适应序列的长度。

2. 图结构感知的编码

2.1 Global Self-Attention as a Replacement for Graph Convolution（KDD 2022）
本文提出将全局自注意力机制替换图卷积，添加一个专门用于处理成对结构信息的通道（称为边通道）来扩展Transformer神经网络架构。