图神经网络 (GNN) 以有效的方式集成了深层架构和拓扑结构建模。然而，由于过平滑问题，现有 GNN 的性能在堆叠多层时会显着下降。当 GNN 不断递归地聚合邻居的表示时，节点嵌入往往会收敛到相似的向量。为了启用深度 GNN，最近探索了几种方法。但它们是从卷积神经网络中的技术或启发式策略发展而来的。没有可generalizable的理论原则来指导深度 GNN 的设计。为此，作者利用节点嵌入的狄利克雷能量分析了深度 GNN 的瓶颈，并提出了一个可推广的原则来指导深度 GNN 的训练。在此基础上，作者设计了一种新颖的深度 GNN 框架——能量图神经网络（EGNN）。它可以在每一层的狄利克雷能量方面提供上下约束，以避免过度平滑。实验结果表明，EGNN 通过使用深层实现了最先进的性能。

论文链接：https://openreview.net/pdf?id=6YL_BntJrz6

本文贡献：

（1） 作者提出了一个generalizable principle——狄利克雷能量约束学习，通过规范狄利克雷能量来指导深度 GNN 的训练。如果没有适当的训练，狄利克雷能量要么由于过度平滑问题而太小，要么在节点嵌入过度分离时太大。作者在每一层仔细定义了适当的狄利克雷能量范围。在这个范围内进行正则化，可以通过联合优化任务损失和能量值来训练深度 GNN 模型。

 

（2）作者设计了一种新颖的深度架构——能量图神经网络 (EGNN)。它遵循所提出的原理，可以有效地学习最佳狄利克雷能量。它由三个组件组成，即正交权重控制、下界残差连接和移位 ReLU (SReLU) 激活。图卷积层的可训练权重正交初始化为对角矩阵，其对角线值经过正则化以满足能量上限并消除过度分离。剩余连接强度由能量下限决定，以避免过度平滑。虽然广泛使用的 ReLU 激活导致 Dirichlet 能量的额外损失，但线性映射恶化了 GNN 的学习能力。我们将 SReLU 与可训练的转变一起应用，以在非线性和线性映射之间进行权衡

 

（3）所提出的原理和 EGNN 可以很好地解释大多数现有的深度 GNN 技术。实证结果表明，EGNN 可以轻松训练达到 64 层，并在基准测试中取得令人惊讶的竞争性能。

 

 

内容中包含的图片若涉及版权问题，请及时与我们联系删除