AdaGMLP: AdaBoosting GNN-to-MLP Knowledge Distillation

图神经网络（GNNs）已经彻底改变了基于图的机器学习，但是它们的高计算需求对于实际工业应用中的延迟敏感边缘设备提出了挑战。为此，一批新的方法被提出，它们被统称为GNN-to-MLP知识蒸馏。这些方法旨在将GNN学习到的知识转移给更高效的MLP学生，从而提供更快速、资源高效的推断，同时保持与GNN竞争性能。然而，这些方法在训练数据不足和测试数据不完整的情况下面临重大挑战，这限制了它们在现实世界中的应用。为了解决这些挑战，我们提出了AdaGMLP，一种AdaBoosting GNN-to-MLP知识蒸馏框架。它利用多个不同子集的标记节点训练的多样化MLP学生集合，解决了训练数据不足的问题。此外，它还采用节点对齐技术，在测试数据中进行鲁棒的预测，即使存在缺失或不完整的特征。我们在七个具有不同设置的基准数据集上进行了实验，结果表明AdaGMLP优于现有的G2M方法，使其适用于各种延迟敏感的现实世界应用。我们已经将我们的代码提交到GitHub存储库（https://github.com/WeigangLu/AdaGMLP-KDD24）。

本论文旨在解决GNN在实际工业应用中计算需求高、延迟敏感的边缘设备方面的问题，提出了一种GNN-to-MLP知识蒸馏框架AdaGMLP。

AdaGMLP框架利用多个不同标记节点子集上训练的多个MLP学生的集合，并结合节点对齐技术，以解决训练数据不足和测试数据不完整的问题。

论文在七个基准数据集上进行了实验，证明AdaGMLP优于现有的G2M方法。研究者已将代码提交到GitHub存储库。

近期的相关研究有GNN-to-CNN知识蒸馏，基于图的元学习等。