Graph External Attention Enhanced Transformer

Transformer架构最近在图表示学习领域引起了相当大的关注，因为它通过定制化的注意力机制或位置和结构编码自然地克服了图神经网络（GNNs）的几个局限性。尽管已经取得了一些进展，但现有的研究往往忽视了图的外部信息，特别是图之间的相关性。直观地说，具有相似结构的图应该具有相似的表示。因此，我们提出了Graph External Attention（GEA）——一种新颖的注意力机制，利用多个外部节点/边键值单元来隐式地捕捉图之间的相互关系。在此基础上，我们设计了一种有效的架构，称为Graph External Attention Enhanced Transformer（GEAET），它集成了局部结构和全局交互信息，以获得更全面的图表示。对基准数据集进行的广泛实验表明，GEAET实现了最先进的经验性能。源代码可在以下网址上进行复现：https://github.com/icm1018/GEAET。

论文旨在解决图表示学习中忽略图之间相关性的问题，提出一种新的注意力机制来隐式地捕捉图之间的相似性。

论文的关键思路是设计一种名为Graph External Attention Enhanced Transformer (GEAET)的模型，它利用多个外部节点/边键值单元来捕捉图之间的相关性。相比于当前的研究，该模型能够更全面地融合局部结构和全局交互信息，提高图的表示能力。

论文在多个基准数据集上进行了广泛的实验，表明GEAET在实验中取得了最先进的性能。此外，作者还提供了开源代码，方便其他研究者进行复现和扩展。该模型的设计思路对于解决图表示学习中的相关性问题具有参考价值。

在最近的研究中，也有一些关于图表示学习中相关性问题的工作。例如，Graph Attention Networks (GAT) 和 Graph Isomorphism Network (GIN)等。