图神经网络（GNNs）已经广泛且被应用在诸多领域，比如社交网络分析，交通预测，推荐预测等等。但是传统的GNN模型有over-smoothing, over-squashing, gradient vanishing等问题。这些问题的存在会让deep GNNs训练中的梯度信息变得noninformative，所以用传统的方法来增加GNNs的深度并不能像CNNs一样带来显著的效果提升。

既然用传统的梯度下降来更新GNNs的参数很难解决这些问题，那么我们能不能另辟蹊径，找到一种方法不用更新GNN的参数也能得到一个很好的GNN模型呢？刚刚结束的Learning on Graphs Conference (LoG 2022)的best paper沿着这个方向进行了探索，并给出了肯定的答案。

来自埃因霍芬理工，德克萨斯大学奥斯汀分校，利物浦大学，屯特大学的团队，首次尝试从一个随机初始化的GNN模型中去寻找一个稀疏的子网络。只用它初始化的参数，不做任何的参数更新就能够达到和正常训练后的dense GNNs同样甚至更好的效果。除此之外，和正常训练的GNNs相比，GNN子网络还能克服over-smoothing和over-squashing的问题。

图片

论文地址：https://arxiv.org/abs/2211.15335

论文首次展示了：

1）在不训练GNN模型参数情况下，从随机初始化的GNN模型中搜索一个子网络可以达到和正常训练的GNN模型的性能。

2）通过搜索子网络获得的GNN模型可以很好的缓解Deep GNN的Over-smoothing 问题。此外，通过这种方式获得的GNN模型在OOD 检测，鲁棒性方面也表现出优异的性能。

内容中包含的图片若涉及版权问题，请及时与我们联系删除