Unifews: Unified Entry-Wise Sparsification for Efficient Graph Neural Network

图神经网络（GNNs）在各种图学习任务中表现出良好的性能，但代价是计算资源密集。GNN更新的主要开销来自于图传播和权重转换，两者都涉及到对图级矩阵的操作。以往的研究试图通过利用图级或网络级稀疏化技术来减少计算预算，从而导致图或权重的缩小。在本文中，我们提出了Unifews，它以逐个矩阵元素的方式统一了这两个操作，并进行联合边权稀疏化以增强学习效率。Unifews的逐个元素的设计使得它可以适应GNN层之间逐渐增加的稀疏度的自适应压缩，并适用于各种架构设计，具有即时操作简化的功能。理论上，我们建立了一个新的框架来描述稀疏化GNN学习，证明了Unifews有效地近似了学习目标，并减少了计算负载。我们进行了广泛的实验来评估我们的方法在不同设置下的性能。Unifews有优势，可以同时删除超过90％的边和权重条目，并且具有与基线模型相当或更好的准确性。稀疏化提供了显着的效率提升，包括10-20倍的矩阵操作减少和高达100倍的图传播时间加速，适用于十亿级别的最大图。

本文旨在提高图神经网络（GNNs）的计算效率，通过联合边权重稀疏化和逐层自适应压缩实现。

Unifews通过逐元素设计实现联合边权重稀疏化和逐层自适应压缩。理论上证明了Unifews可以有效减少计算负担并近似学习目标。

实验结果表明，Unifews可以在保持相同或更好准确率的同时，联合删除超过90％的边和权重条目。此外，Unifews可以实现10-20倍的矩阵操作减少和高达100倍的图传播时间加速。

近期相关研究包括：《GraphSAINT: Graph Sampling Based Inductive Learning Method》、《Simplifying Graph Convolutional Networks》等。