论文分享 | 图神经网络预训练综述

图表示学习旨在将具有复杂结构的图数据转换为保留多样化图属性和结构特征的低维空间中的稠密表示。一般来说，图神经网络（GNN）将具有属性的图作为输入，利用卷积层逐层生成节点级别的表示，针对输入图上的一项任务，以端到端的方式利用监督信息训练 GNN 模型，也就是说，对于同一张图上的不同任务，需要有足够多且不同标签的数据集，以训练与每个任务相对应的特定 GNN，但对于这些任务，尤其是对于大规模图数据，获取标签的代价很大，难以得到足量的标注数据。一种有效的解决此问题的方式是：在大量未标注的数据上通过自监督的方式对 GNN 模型进行预训练，学习节点的 embedding，再在特定的图数据上对预训练的 GNN 模型进行微调来适应下游任务。因此，将预训练技术应用到 GNN 是一个非常有价值的研究方向。本文总结了五篇关于图神经网络预训练的论文，其中探索的角度包括：

如何同时学习到有效的局部和全局信息；
如何学习到通用的、可迁移的拓扑结构信息；
如何用概率生成模型对图分布进行建模；
图神经网络在预训练的过程中怎样学习微调；
如何增强图神经网络层的聚合能力；
如何将目标任务以及监督信息融入自监督任务中。

预训练任务按层次分可以分为节点、边、子图三个不同的层级，按原理分可分为：对比学习、生成学习和预测学习。预训练任务的这三种方式都是基于自监督学习的思想从无标签的图数据中构造预训练的监督信号。基于对比学习的方法从输入数据中构造出正负样本，让模型在隐式表示空间对正负样本进行判别来学习输入数据中的特征，一种简单的构造负样本的方式就是正样本子图进行随机扰动；基于生成学习的方法通过让模型对输入数据进行生成重建来学习数据的潜在特征。生成模型要将观测数据生成的概率最大化；基于预测学习的方法从图数据中自动生成标签，根据标签设计预测任务。

文章概览

1. Pre-Training Graph Neural Networks for Generic Structural Feature Extraction

用于通用结构特征提取的图谱神经网络的预训练

论文地址：https://arxiv.org/abs/1905.13728

2. GRAPH-BERT: Only Attention is Needed for Learning Graph Representations

GRAPH-BERT：学习图表示只需要注意力机制

论文地址：https://arxiv.org/abs/2001.05140

3. GPT-GNN: Generative Pre-Training of Graph Neural Networks

GPT-GNN: 图神经网络的生成性预训练

论文地址：https://arxiv.org/abs/2006.15437

4. Strategies for Pre-training Graph Neural Networks

图神经网络预训练的策略

论文地址：https://arxiv.org/abs/1905.12265

5. GCC: Graph Contrastive Coding for Graph Neural Network Pre-Training

GCC: 图神经网络预训练的图对比性编码

论文地址：https://arxiv.org/abs/2006.09963

内容中包含的图片若涉及版权问题，请及时与我们联系删除

论文分享 | 图神经网络预训练综述

评论