GTC: GNN-Transformer Co-contrastive Learning for Self-supervised Heterogeneous Graph Representation

图神经网络（GNN）由于其消息传递机制的强大局部信息聚合能力，在各种图任务中已成为最强大的武器。然而，过度平滑一直以来都阻碍着GNN更深入地进行多跳邻居的捕捉。与GNN不同，Transformer可以通过多头自注意力来建模全局信息和多跳交互，适当的Transformer结构可以展现出更强的免疫过度平滑问题的能力。因此，我们能否提出一种新的框架，将GNN和Transformer结合起来，整合GNN的局部信息聚合和Transformer的全局信息建模能力，以消除过度平滑问题？为了实现这一点，本文提出了一种GNN-Transformer的协同学习方案，并构建了GTC架构。GTC利用GNN和Transformer分支分别从不同视角编码节点信息，并基于编码的跨视图信息建立对比学习任务，实现自监督异构图表示。对于Transformer分支，我们提出了元路径感知的Hop2Token和CG-Hetphormer，可以与GNN合作，注意地从不同层次编码邻域信息。据我们所知，这是图表示学习领域中首次尝试利用GNN和Transformer协同捕捉不同视图信息并进行跨视图对比学习。实验结果表明，GTC相比于现有最先进的方法表现出更优异的性能。代码可在https://github.com/PHD-lanyu/GTC获得。

本论文旨在解决GNN在进行深层次学习时出现的过度平滑问题，提出一种将GNN和Transformer相结合的框架，利用两者的优势来消除这一问题。

论文提出了一种协同学习方案，构建了GTC架构，利用GNN和Transformer分别从不同视角编码节点信息，并基于编码的跨视角信息建立对比学习任务，实现自监督异构图表示。

论文提出的GTC架构在多个真实数据集上表现出优异的性能，比目前的最新方法更加优越。论文提出的Metapath-aware Hop2Token和CG-Hetphormer能够协同GNN从不同层次上注意地编码邻域信息。

最近的相关研究包括Graph Convolutional Network (GCN)、Graph Attention Network (GAT)、GraphSAGE等。