Where to Mask: Structure-Guided Masking for Graph Masked Autoencoders

本文介绍了图遮蔽自编码器（Graph masked autoencoders，GMAE）在图结构数据的自监督预训练中的重要进展。之前的GMAE模型在训练过程中主要采用简单的随机遮蔽策略来遮蔽节点或边。然而，这种策略没有考虑到图中不同节点的重要性差异。为此，本文探讨了利用图的结构组成作为遮蔽预训练过程中基本且独特的先验知识的潜力。为此，我们引入了一种新的结构引导遮蔽策略（即StructMAE），旨在改进现有的GMAE模型。StructMAE包括两个步骤：1）基于结构的评分：对每个节点进行评估并分配一个反映其结构重要性的分数。提出了两种不同类型的评分方式：预定义评分和可学习评分。2）结构引导遮蔽：根据获得的评估分数，我们开发了一种易于难的遮蔽策略，逐渐增加自监督重构任务的结构意识。具体而言，该策略从随机遮蔽开始，逐渐进展到基于评估分数遮蔽结构信息节点。这种设计逐渐有效地指导模型学习图的结构信息。此外，广泛的实验一致表明，我们的StructMAE方法在无监督和迁移学习任务中均优于现有最先进的GMAE模型。代码可在https://github.com/LiuChuang0059/StructMAE上获得。

本文旨在解决现有图结构数据自监督预训练中简单随机掩码策略无法考虑不同节点在图结构中的重要性的问题，提出了一种新的结构指导掩码策略。

本文提出的结构指导掩码策略包括两个步骤：基于结构评分和结构指导掩码。基于结构评分，每个节点都会被评估并分配一个反映其结构重要性的分数。结构指导掩码则通过逐步增加模型对图结构信息的学习来引导模型。具体而言，该策略从随机掩码开始，逐渐转向基于评估分数的结构信息节点掩码。实验结果表明，本文提出的方法在无监督和迁移学习任务中均优于现有的最先进的图自监督预训练模型。

本文的亮点包括提出了一种新的结构指导掩码策略来解决现有图结构数据自监督预训练中简单随机掩码策略无法考虑不同节点在图结构中的重要性的问题，并且在实验中证明了该方法的有效性。此外，本文提供了开源代码。

最近的相关研究包括：《Semi-Supervised Classification with Graph Convolutional Networks》、《Graph Attention Networks》、《Graph Convolutional Networks for Text Classification》等。