标题：Inria大学|GraphiT: Encoding Graph Structure in Transformers（GraphiT：在 Transformer 中编码图结构）

简介：我们展示了将图视为节点特征集并结合结构和位置转化器架构中的信息能够胜过用经典方法学习的表示图神经网络（GNN）。我们的模型GraphiT通过（i）利用相对基于图上正定核的自注意力得分中的位置编码策略，以及（ii）枚举和编码局部子结构，例如短路径。我们彻底评估这两个想法在许多分类和回归任务上，证明了每一个的有效性他们独立，以及他们的组合。除了在标准基准测试中表现良好之外，我们的模型还承认用于解释图基序的自然可视化机制预测，使其成为需要解释的科学应用的潜在有力重要候选者。