Graph External Attention Enhanced Transformer

最近，Transformer架构在图表示学习领域引起了相当大的关注，因为它通过定制化的注意机制或位置和结构编码自然地克服了图神经网络（GNNs）的一些限制。尽管已经取得了一些进展，但现有的研究往往忽视了图的外部信息，特别是图之间的相关性。直观地，具有相似结构的图应该具有相似的表示。因此，我们提出了图外部注意力（GEA）——一种新颖的注意机制，利用多个外部节点/边键值单元来隐式地捕捉图之间的相关性。在此基础上，我们设计了一种有效的架构，称为图外部注意力增强Transformer（GEAET），它集成了局部结构和全局交互信息，以获得更全面的图表示。在基准数据集上进行的大量实验表明，GEAET实现了最先进的实证性能。源代码可在以下网址上获得：https://github.com/icm1018/GEAET。

论文旨在解决图表示学习中忽略外部信息的问题，具体来说是忽略不同图之间的相关性。作者认为具有相似结构的图应该具有相似的表示。

提出了一种名为GEA的新型注意机制，利用多个外部节点/边键值单元来隐式捕获图之间的相关性。在此基础上，设计了一种名为GEAET的新型架构，将局部结构和全局交互信息相结合，以获得更全面的图表示。

论文使用了多个基准数据集进行广泛的实验，证明了GEAET在图表示学习中具有优异的表现，并且开源了源代码以供复现。此外，该论文的亮点还包括使用了一种新型注意机制来隐式捕获图之间的相关性。

最近在这个领域中，还有一些相关研究，例如：《Graph Attention Networks》、《Graph Convolutional Networks》、《GraphSAGE》等。