论文标题:

Graph Self-supervised Learning with Accurate Discrepancy Learning

收录会议:

NeurIPS 2022

论文链接:

https://arxiv.org/abs/2202.02989

节点表示学习对结构公平性有所要求,即在度小和度大节点上都有良好的性能表现。最近研究表明,图卷积网络 (GCN) 常对度小节点的预测性能较差,在广泛存在的度呈长尾分布的图上表现出结构不公平。图对比学习 (GCL) 继承了 GCN 和对比学习的优势,甚至在许多任务上超越了半监督 GCN。那么 GCL 针对节点度的表现又如何呢?是否可能为缓解结构不公平提供新的思路?

 

本文介绍

图神经网络的自监督学习 (GNNs) 旨在以无监督的方式学习图的精确表示,以获得用于各种下游任务的可转移表示。预测学习和对比学习是图自监督学习的两种最流行的方法。然而,它们有自己的缺点。虽然预测学习方法可以学习相邻节点和边之间的上下文关系,但是它们不能学习全局图级相似性。对比学习虽然可以学习全局图级相似性,但是其最大化两个不同的受干扰的图之间的相似性的目标时,可能导致表示不能区分具有不同属性的两个相似的图。

为了改进这些缺点,在本文中,作者提出了一个框架,旨在学习原始图和受干扰的图之间的精确差异,称为基于差异的自我监督学习 (D-SLA),即创建具有不同相似度的给定图的多个扰动,并训练模型来预测每个图是原始图还是被干扰的图。

本文贡献:

  1. 提出了一种新的图自监督学习框架,其目标与对比学习完全相反,其目的是学习使用区分器(discriminator)区分图和受干扰的图,因为即使是轻微的扰动也可能导致图的完全不同的属性;
  2. 为被干扰的图进行图编辑距离而无需任何额外工作,以在表示空间中保持图之间的精确差异量;
  3. 在化学、生物和社会领域的各种基准上进行预培训和微调验证了 D-SLA,在这些基准上,D-SLA 显著优于基准。

内容中包含的图片若涉及版权问题,请及时与我们联系删除