论文标题：

GraphMAE: Self-Supervised Masked Graph Autoencoders

论文作者：

Zhenyu Hou, Xiao Liu, Yukuo Cen, Yuxiao Dong, Hongxia Yang, Chunjie Wang, Jie Tang

论文链接：https://arxiv.org/abs/2205.10803

收录会议：

KDD 2022

自监督学习（Self-supervised Learning SSL）在计算机视觉（CV）和自然语言处理（NLP）中得到了广泛的应用。它一般可分为生成性（generative）方法和对比性（contrastive）方法。对比性 SSL 方法在之前两年很火，比如 MoCo，但生成性 SSL 方法也在稳步提升，比如 NLP 中的 BERT 和 GPT，以及最近在 CV 中出现的 MAE。
然而，在图（graph）的自监督学习领域，对比性 SSL 方法一直在占据主流，特别是在两类重要的下游任务上——节点分类（node classification）和图分类（graph classification）。对比性 SSL 方法的成功在图（graph）上的成功主要建立在相对复杂的训练策略上，比如具有动量更新（momentum updates）和指数移动平均（exponential moving average）的双编码器（bi-encoders）。
此外，负样本（negative samples）对大部分对比性学习（contrastive learning）的目标函数（objective）来说是必须的，但构建负样本（negative samples）通常需要付出大量的成本来取样或从图中构建。最后，对比性 SSL 方法严重依赖于数据增强（data augmentation），但数据增强的有效性在不同的图之间有很大的差异，这会导致对比性 SSL 方法性能的不稳定。

内容中包含的图片若涉及版权问题，请及时与我们联系删除