HHGT: Hierarchical Heterogeneous Graph Transformer for Heterogeneous Graph Representation Learning

尽管异构图神经网络在建模现实世界的异构信息网络方面取得了成功，但表达能力的限制和过度平滑等挑战促使研究人员探索图变换器（GT）以增强异构信息网络表示学习。然而，对于GT在异构信息网络中的研究仍然有两个主要缺点：（1）在异构信息网络中，节点在不同距离上的邻居传达着不同的语义。不幸的是，现有方法忽略了这种差异，并以粗略的方式统一处理给定距离内的邻居，导致语义混淆。（2）异构信息网络中的节点具有各种类型，每种类型具有独特的语义。然而，现有方法在邻居聚合过程中混合不同类型的节点，阻碍了捕捉不同类型节点之间适当的相关性。为了弥补这些差距，我们设计了一种创新的结构，称为（k，t）-环形邻域，其中节点最初按其距离组织，为每个距离形成不同的非重叠k-环形邻域。在每个k-环形结构内，节点根据其类型进一步分类为不同的组，从而自然地强调了异构信息网络中距离和类型的异质性。基于这种结构，我们提出了一种新颖的分层异构图变换器（HHGT）模型，它无缝地集成了一种类型级变换器，用于聚合不同类型节点在每个k-环形邻域内，然后是一个环级变换器，以分层方式聚合不同的k-环形邻域。在下游任务上进行了大量实验，验证了HHGT相对于14个基线的优越性，在ACM数据集上的节点聚类任务中，相比最佳基线，NMI提高了高达24.75％，ARI提高了29.25％。

本论文旨在解决Heterogeneous Graph Neural Networks (HGNNs)在建模实际世界中的异构信息网络（HINs）时存在的表达能力限制和过度平滑等挑战，提出了一种新的Hierarchical Heterogeneous Graph Transformer (HHGT)模型。

本文提出了一种(k,t)-ring邻域的结构，将节点按照距离分组，并且在每个k-ring邻域中进一步按照类型分类，从而强调了HINs中距离和类型的异构性。在此结构基础上，提出了一种分层异构图Transformer模型，该模型无缝集成了类型级Transformer和环级Transformer，用于不同类型节点的聚合和不同k-ring邻域的聚合。

论文在多个下游任务上进行了广泛实验，证明了HHGT模型相对于14个基线模型的优越性，其中在ACM数据集上节点聚类任务中，相对于最佳基线模型，NMI提高了24.75％，ARI提高了29.25％。此外，论文还提供了开源代码和数据集。

近期在这个领域的相关研究包括：1.《Heterogeneous Graph Transformer》；2.《Heterogeneous Graph Attention Network》；3.《Heterogeneous Graph Convolutional Networks》等。