图片

今天给大家介绍的是由发表在KDD 2022上的一篇论文《Global Self-Attention as a Replacement for Graph Convolution》。论文提出了边增强的Transformer模型，并以SVD分解得到的奇异向量作为位置编码，在多个基准数据集上取得了最优表现，证明了全局自注意力可以作为图卷积的一个替代方案。

 

作者通过为成对的结构信息添加专用的路径(称为边通道)提出了一个transformer神经网络框架的拓展，其可用于通用的图学习。作者称这个拓展为边增强的图transformer(Edge-augmented Graph Transformer, EGT)，其可以直接接收，处理和输出任意形式的结构信息，这对图结构数据上的高效学习是非常重要的。该模型专门使用全局自注意力为聚合机制，而不是静态的局部卷积聚合。这允许节点之间无约束的远程动态相互作用。此外，边通道允许结构信息在层与层演进，并且可以直接使用这些通道的输出嵌入进行边/链路的预测任务。作者在基准数据集上的大量图学习实验中验证了EGT的性能，且EGT优于卷积/消息传递图神经网络。EGT在包含380万分子图的OGB-LSC PCQM4Mv2数据集上位量子化学性质回归任务建立了新的SOTA结果。该研究结果表明，基于全局自注意力的聚合可以作为通用图学习中图卷积的一个灵活、自适应和有效的替代。因此，卷积局部邻域聚集不是一种本质的归纳偏置。

论文地址：https://dl.acm.org/doi/abs/10.1145/3534678.3539296

内容中包含的图片若涉及版权问题，请及时与我们联系删除