【论文标题】Distilling Knowledge from Graph Convolutional Networks 【作者团队】 Yiding Yang, Jiayan Qiu, Mingli Song, Dacheng Tao, Xinchao Wang 【发表时间】2020/03/23 【论文链接】https://arxiv.org/abs/2003.10477 【推荐理由】本文发表在CVPR2020上，或是第一个从预训练图神经网络中进行知识蒸馏的工作。图像处理领域现存的知识蒸馏大多集中在卷积神经网络（CNN）上，输入的图像样本是规则的网格类型的欧式数据 ，同时图神经网络（GNN）这一概念擅长处理非欧式数据。本文正是将知识蒸馏和GNN这两个概念结合，提出了从预训练的图神经网络中进行知识蒸馏。具体是提出了一种可以保存图局部结构的模型，使得学生网络在学习教师网络的时候能够充分学习其结构信息。作者首先把教师网络和学生网络的结构信息当作一种概率分布，进而最小化两个分布之间的距离，同时也能保持学生模型的准确率。模型设计灵活，不仅能处理输入数据不变的情况，也能解决教师网络和学生网络输入数据格式不一致的情况。作者通过不同GCN模型结构在两个数据集上的实验，证明了提出的方法能够得到最好的GCN蒸馏效果。 本文的主要贡献在于： 1、 首次提出了在GCN模型上进行知识蒸馏的概念； 2、 提出的局部结构信息保存的方法可以适用于动态图神经网络； 3、 提出的知识蒸馏方法在两个数据集上取得了可观的蒸馏效果。