摘要

近年来，异质图神经网络（Heterogeneous graph neural networks， HGNN）在处理异质信息网络（Heterogeneous information networks (HIN)）时展现出了优越的性能。然而，大部分HGNN均采用半监督学习的方法，由于实际应用中标签信息获取的难度，这一方法限制了HGNN在实际应用中的部署。近期，自监督学习由于其能够自适应地从数据本身挖掘监督信息，成为了诸多研究领域在无监督设定下的选择。而自监督学习中对比学习算法，通过从数据中抽取出正负样本，同时最大化正例间的相似度以及最小化负例间相似度，能够学到判别性的表示，更是引起了CV和NLP领域的广泛研究，但如何将它与HIN结合起来仍未得到充分探索。

论文链接：https://arxiv.org/pdf/2105.09111.pdf

 

动机

本文旨在研究HIN的自监督学习问题。通过分析HIN及对比学习的特性，本文提出了三个需要解决的本质问题：

  • 如何设计异质对比机制。HIN中包含复杂结构，例如元路径（meta-path），需要利用跨视图的对比学习机制来综合刻画。
  • 如何在HIN中选择合适的视图 对于视图的基本要求是，能够刻画网络的局部结构和高阶结构。
  • 如何设置困难的对比任务 简单的正负关系很容易被捕获，模型学到的信息有限。增加对比任务的难度，可通过增加两个视图间的差异，或者生成更高质量的负样本来实现。

 

针对上述问题，本文提出了一种HGNN的协同对比学习机制（名为HeCo）。与传统的对比学习只注重正负样本对比不同，HeCo采用的是交叉视角对比机制。具体来说，我们提出了HIN的两种视图(网络模式视图和元路径视图)来学习节点嵌入，从而同时捕获局部和高阶结构。然后提出了交叉视图对比学习和视图掩码机制，该机制能够从两个视图中提取正负嵌入。这使得两个视图能够相互协作监督，并最终学习高级节点嵌入。此外，设计了两个扩展的HeCo生成高质量的硬负样本，进一步提高了HeCo的性能。

 

 

方法

HeCo的整体流程如上图所示，HeC通过网络模式视图和元路径视图对HIN的节点进行编码，从而捕获HIN的结构信息。在编码过程中，视图掩码机制被引入使不同编码方式得到的视图相互监督和补充。对于两种特定视图的嵌入，HeCo利用了对比学习，并针对HIN中节点的正样本设计了一个优化策略。

 

  • 特征转换

为实现HeCo的特征计算，首先需要将不同类型节点的特征映射到同一空间中，如(a)所示。对于Φi类型的节点，利用类型特别的映射矩阵进行投影：

  • 网络模式视图编码器

假设节点i与S种其他类型的节点相连{Φ1,...,Φm}，对于第Φm类型的邻居，利用节点级别的注意力进行融合：

其中α是第Φi类型邻居的注意力向量。在构建第Φi类型的邻居时并不聚合所有节点，而是随机进行选择。这样可以约束每个节点从邻居中吸收同样的信息量，同时增加了节点表示的多样性，使得接下来的对比学习更具挑战性。

在得到每种类型的节点表示后，HeCo利用类型级别的注意力机制进行融合，得到网络模式下的节点表示：

  • 元路径视图编码器

给定M条预先定义的元路径P1,P2...,Pn，对于元路径Pn，可以得到节点i基于该条元路径的邻居，接着利用GCN对邻居进行聚合：

之后，利用语义注意力机制聚合元路径Pn的节点表示z：

 

  • 视图掩盖机制

在上述生成网络模式下节点表示的过程中，HeCo隐去了目标类型节点的信息，只吸收不同类型邻居的信息；在生成元路径视图节点表示的过程中，隐去了元路径上其他类型节点的信息，只吸收和目标节点类型相同的节点信息。这样，从两种视图下学到的节点表示，即相关又互补，互相监督彼此的训练，呈现协同优化的趋势。

 

实验

本文在下表所示的4个数据集上分别展开了节点分类、聚类两种实验，并进行了若干消融分析。

节点分类

从下表可以看出，本文提出的HeCo在所有数据集、所有设定上的性能通常优于其他方法，甚至比半监督方法HAN要好。HeCo在大多数情况下都优于DMGI，而在某些设置下DMGI甚至比其他基线更差，说明单视图对比学习在HIN处理过程中可能带来噪声和不完整学习。因此，本文提出的跨视图进行对比学习是有效的。此外，即使HAN利用了标签信息，HeCo在所有情况下的表现都比它好，这进一步表明了交叉视角对比学习的巨大潜力

节点聚类

从下表可以看到，HeCo在所有的数据集上都能达到最好的结果，这从另一个角度证明了HeCo的有效性。特别是，HeCo在NMI和ARI上分别有10%和20%的改进，证明了该模型的优越性。此外，HeCo在所有情况下的表现都优于DMGI，进一步表明了不同视角之间进行对比的重要性。

可视化分析

下图表示，由于Mp2vec和DGI不能融合各种语义信息，它们在不同类型的节点之间仍呈现出模糊的边界。但本文所提出的HeCo方法能够以相对清晰的边界正确地划分不同的节点。

模型扩展

从表中可以看出，本文提出的HeCo_MU、HeCo_GAN总体上优于基准模型和DMGI，尤其是HeCo_GAN版本。在大多数情况下，HeCo_MU可以取得第二好的性能，说明一般情况下，更多高质量的负样本能够有效提升对比学习的性能。

超参数分析

下表表明HeCo中的超参数对最终性能具有相似的影响。

内容中包含的图片若涉及版权问题，请及时与我们联系删除