AAAI 2022 | 正交图神经网络

图神经网络 (GNNs) 模型依靠消息传递和特征转换函数来编码来自邻居的结构和特征信息，消息传递是沿着边传递邻居消息，特征转换是通过投影节点嵌入来提高模型的学习能力，但卷积层太多则会导致 GNNs 的性能降低。最近的研究指出这个问题来源于过平滑，也就是因为图结构上的递归邻域聚合导致节点表示变得难以区分。最近提出了图增强等模型来缓解过平滑，主要思想是避免过多的邻域信息，在每个卷积层都强化自身的特定节点特征。 

相比于深层的 GNNs 模型，本文更加关注影响浅层 GNNs 性能的主要因素。因为从图 1(d) 中可以看到，当 GNNs 的深度增加达到 8 层时，节点分类精度就会迅速下降，但此时还没有达到过平滑的状态。而作者发现仅仅移除特征转换模块，即便有几十个卷积层，但 GNNs 依然可以稳定的执行。

作者通过大量实验提出，因为设计了不恰当的特征转换导致不稳定的前向归一化和后向梯度，最终导致了 GNNs 性能下降。如图 1(a) 和 (b)vanilla GNNs 有前向嵌入爆炸和后向梯度消失的问题，前向嵌入爆炸改变了层之间的内部嵌入分布，使模型训练效率低下，后向梯度消失阻碍了特征转换模块适应下游任务的优化。因此作者认为 vanilla 特征转换在前向和后向都破坏了模型的稳定，从而导致性能降低。 

为了克服训练的不稳定性，本文提出了一种新的正交特征变换方法来保证特征变换的正交性，称为 Ortho-GConv，可以对现有的 GNNs 进行扩展，提升泛化能力。

论文链接：

内容中包含的图片若涉及版权问题，请及时与我们联系删除