【论文标题】 A Generalization of Transformer Networks to Graphs 【作者团队】V P Dwivedi, X Bresson 【发表时间】2020/12/17 【论文链接】https://arxiv.org/pdf/2012.09699.pdf 【论文代码】https://github.com/graphdeeplearning/graphtransformer 【推荐理由】提出了一种简单有效的方法，对任意图构建Transformer网络，引入具有四个新属性的图Transformer，进一步增强了Transformer的通用性。 我们提出了任意图的transformer神经网络结构的一种推广。最初的transformer是为自然语言处理(NLP)设计的，它操作在表示单词之间的所有连接序列的全连接图上。这种架构没有利用图连通性归纳偏差，当图拓扑非常重要且未被编码到节点特征中时，性能会很差。与标准模型相比，我们引入了一个具有四个新属性的图transformer。首先，注意机制是图中每个节点的邻域连通度的函数。其次，位置编码由拉普拉斯特征向量表示，它很自然地推广了常用于NLP的正弦位置编码。第三，用批归一化层代替层归一化层，训练速度更快，泛化性能更好。最后，该体系结构扩展到边缘特征表示，这对任务s.a.化学(键类型)或链接预测(知识图中的实体关系)至关重要。在一个图形基准上的数值实验验证了所提出的图transformer的性能。这项工作填补了原来的transformer和可以处理任意图的图形神经网络之间的差距，前者是为有限的线形图情况设计的。由于我们的架构简单而通用，我们认为它可以作为未来希望考虑transformer和图的应用程序的黑盒。

内容中包含的图片若涉及版权问题，请及时与我们联系删除