Efficient Topology-aware Data Augmentation for High-Degree Graph Neural Networks

近年来，图神经网络（GNN）已成为学习图结构数据的有效工具，在各个领域取得了丰硕的成果。大多数GNN都遵循消息传递范式，在这种范式中，通过递归地聚合邻居节点的特征来学习每个节点的表示。然而，这种机制在高度图（HDG）上会带来严重的过度平滑和效率问题，其中大多数节点都有数十个（甚至数百个）邻居，例如社交网络、交易图、电网等。此外，这些图通常包含丰富而复杂的结构语义，仅通过GNN中的特征聚合难以捕捉。受到上述限制的启发，我们提出了TADA，一种针对HDG上GNN的高效有效的前置数据增强框架。在TADA中，包括两个关键模块：（i）结构嵌入的特征扩展，和（ii）拓扑和属性感知的图稀疏化。前者通过将图结构编码为高质量的结构嵌入向量，使用高效的草图方法，获得增强的节点特征和增强的模型容量。进一步地，通过利用从图结构和属性中提取的任务相关特征，第二个模块可以准确地识别和减少输入图中的大量冗余/噪声边，从而缓解过度平滑，促进在HDG上更快的特征聚合。实验证明，TADA在节点分类方面显著提高了主流GNN模型在8个真实同质/异质HDG上的预测性能，同时实现了高效的训练和推断过程。

本论文旨在解决在高度连接的图结构上使用图神经网络（GNNs）时，过度平滑和效率问题的挑战。同时，该论文也试图解决如何在GNNs中捕捉复杂结构语义的问题。

该论文提出了一种称为TADA的前置数据增强框架，以解决高度连接图结构上的GNNs的问题。TADA包括两个关键模块：使用高效的草图方法将图结构编码为高质量的结构嵌入来扩展节点特征，并利用从图结构和属性中提取的任务相关特征，启用拓扑和属性感知的图稀疏化，以便减少冗余和噪声边缘。这两个模块共同提高了GNNs在高度连接的图结构上的预测性能。

该论文在8个真实的同质化/异质化高度连接的图结构上进行了实验，证明了TADA在节点分类方面显著提高了主流GNN模型的预测性能。此外，TADA还实现了高效的训练和推理过程。值得关注的是，该论文提出的草图方法可以用于其他图形任务中。

该领域的相关研究包括：《Graph Neural Networks: A Review of Methods and Applications》、《Simplifying Graph Convolutional Networks》、《Deep Graph Convolutional Networks》等。