Transformers are Graph Neural Networks

我们建立了Transformer架构（最初用于自然语言处理）与图神经网络（GNNs，用于图上的表示学习）之间的联系。我们展示了Transformer可以被视为在令牌的全连接图上运行的消息传递GNN，其中自注意力机制捕捉了所有令牌相对于彼此的重要性，而位置编码则提供了关于序列顺序或结构的提示。因此，Transformer是一种表达能力强的集合处理网络，能够学习输入元素之间的关系，而不受先验图结构的限制。尽管在数学上与GNN有相通之处，Transformer却是通过密集矩阵运算实现的，在现代硬件上这种运算比稀疏的消息传递高效得多。这使我们得出一个观点：Transformer本质上是当前在硬件优势中胜出的图神经网络。

论文试图建立Transformer架构与图神经网络（GNN）之间的联系，探讨Transformer是否可以被理解为一种特殊的GNN。这一问题旨在从理论上统一两种主流的深度学习架构，并分析其在硬件效率上的优势。

Transformer可以被视为在全连接图上运行的消息传递GNN，其中自注意力机制捕捉所有节点（token）之间的相对重要性，而位置编码提供序列结构信息。这种视角表明，Transformer是一种不依赖预定义图结构的集合处理网络，同时由于其基于密集矩阵运算的实现，在现代硬件上比传统的稀疏消息传递GNN更高效。

{首次将Transformer明确建模为GNN的一种形式，提供了理论层面的统一视角。,指出Transformer之所以成功，部分原因在于其适配了现代硬件（如GPU/TPU）的并行计算能力。,强调了Transformer作为集合并处理模型的能力，适用于无先验图结构的数据。,实验虽未具体提及数据集，但理论推导具有普适性和启发性。,值得深入研究的方向包括：结合稀疏图结构与Transformer、探索更高效的混合架构。}

{"“Graph Attention Networks” (GAT),","“Attention Is All You Need” (Transformer原始论文),","“Deep Graph Infomax” for unsupervised GNN learning,","“Graph Neural Networks: A Review of Methods and Applications”,","“Efficient Transformers: A Survey” exploring computational efficiency in attention models"}