为什么图上要使用 Transformer？

简要提一下 GT 带来的好处：
1. 能捕获长距离依赖
2. 减轻出现过平滑，过挤压现象
3. GT 中甚至可以结合进 GNN 以及频域信息（Laplacian PE），模型会有更强的表现力。
4. 利用好 [CLS] token，不需要额外使用 pooling function。
5. etc

本文主要汇总九篇关于同质图上的 graph transformers的研究工作。

各方法的区别

内容中包含的图片若涉及版权问题，请及时与我们联系删除