近年来,由于图结构数据的普遍存在,基于图的深度学习在人工智能领域引越来越受到研究者的关注和重视。然而,大多数关于图的深度学习工作都专注于(半)监督学习场景,在这种场景中,模型是基于人工标注信息从而进行下游任务训练。尽管(半)监督图学习取得了成功,但由于严重依赖这些标签信息,它仍然存在一些缺点:获取ground-truth标签的成本过高,过度拟合导致泛化能力较差,以及在标签相关的对抗攻击下鲁棒性较弱。
自我监督学习(SSL)是解决(半)监督学习不足的有前景的的学习范式。SSL通过训练模型来优化精心设计的辅助任务,其可以帮助模型从未标记的数据中学习更广义的表示,从而在下游任务中实现更好的性能和泛化。
将SSL应用于图域具有重要的意义,也具有重要的潜力和研究前景。首先,大多数图学习的工作过分强调标签的作用,而忽略了底层丰富的结构和贡献信息,而设计各种SSL辅助任务有助于缓解这种情况。此外,图标签信息的收集成本较高,这阻止了大多数现有的方法应用于现实世界的数据。相比之下,SSL减少了对人工标签的依赖。此外,图域在非欧几里得空间中具有更为普遍和复杂的数据结构,因此比CV/NLP域更适合构建各种SSL前置任务来获取监督信号。
与现有的SSL综述相比,本文的工作纯粹关注图域的SSL,并根据图的特征给出了更科学和详细的分类。此外,本文为这一方向提出了新的挑战,为图学习和自监督学习开辟了新的方向。
本文的主要贡献如下:
- 对图上与SSL相关的概念提供了统一的问题公式和清晰的定义。
- 根据辅助任务的设计对现有的基于图的 SSL工作提供了一个及时的综述和系统分类。
- 指出了当前研究的技术局限性,并为未来的工作提供了良好的方向。
感兴趣的可以继续戳链接。
- 论文名称:Graph Self-Supervised Learning: A Survey
- 论文链接:https://arxiv.org/abs/2103.00111
内容中包含的图片若涉及版权问题,请及时与我们联系删除
评论
沙发等你来抢