本文介绍来自北京航空航天大学软件开发环境国家重点实验室郭园方教授团队发表在NeurlPS 2021 上的论文“Diverse Message Passing for Attribute with Heterophily”。本文提出了一个多元消息传递的图神经网络框架，解决了已有GNNs 忽略了网络节点属性异质性的问题，并且在缓解过平滑问题上具有优势。

论文地址：

https://papers.nips.cc/paper/2021/file/253614bbac999b38b5b60cae531c4969-Paper.pdf

摘要

大多数现有GNN都可以通过统一消息传递框架建模。该框架整体考虑了每个节点的所有属性，共享沿每个边的均匀的传播权重。该框架的设计有两个先决条件：将同质性和异质性简化到节点级属性水平和忽略属性间的差异。不幸的是，不同的属性具有不同的特征。在本文中，通过将属性作为弱标签，定义了网络的属性同质率。基于这个属性同质率，提出了一个多元化消息传递（DMP）框架，它指定了每条边上的每个属性的传播权重。此外，提出了两种具体的策略来降低 DMP 的计算复杂度，以防止过度拟合问题。通过研究谱特性，发现现有的谱 GNNs 实际上相当于 DMP 的退化版本。从数值优化的角度，本文提供了一个理论分析来证明 DMP 的强大表示能力和缓解过度平滑问题的能力。对各种真实网络的评估表明，与现有技术相比，DMP 在处理异质性网络和缓解过度平滑问题方面具有优势。

 

本文定义了网络的属性同质率：

其可以衡量网络中每种属性的同质程度。\( \)

为了考虑不同属性的不同分布，本文为每一属性都设定了一个权重：

该模型需要学习的参数过多，容易过拟合。因此提出了两种策略来解决这一问题。

策略一 使用一个函数从节点属性来计算节点的权值。不同于 GAT的正数权值，这里的权值范围为（-1,1）。直观地说，正权重相当于低通滤波，而负权重实际上促进了低频以外的滤波。

策略二 所有邻居共享权重。

内容中包含的图片若涉及版权问题，请及时与我们联系删除