CNN2GNN: How to Bridge CNN with GNN

虽然卷积神经网络（CNN）通过提取样本内部表示在视觉任务中取得了出色的性能，但由于需要堆叠大量卷积层，训练成本较高。最近，作为双线性模型，图神经网络（GNN）已成功地利用少量图神经层探索了图数据中的底层拓扑关系。不幸的是，由于缺乏图结构，它不能直接用于非图数据，并且在大规模场景中具有高推理延迟。受到这些互补的优势和劣势的启发，我们提出了一个新的CNN2GNN框架，通过蒸馏将CNN和GNN统一起来。首先，为了突破GNN的限制，设计了一个可微稀疏图学习模块作为网络的头部，动态学习归纳学习的图。然后，引入基于响应的蒸馏，将知识从CNN传输到GNN，桥接这两个异构网络。值得注意的是，由于同时提取单个实例的内部表示和数据集之间的拓扑关系，蒸馏后的“增强”两层GNN在Mini-ImageNet上的性能比包含数十层的CNN（如ResNet152）要高得多。

如何将卷积神经网络（CNN）和图神经网络（GNN）结合起来，以提高图像分类的性能？

通过引入可微的稀疏图学习模块和基于响应的蒸馏方法，将CNN和GNN结合起来，实现知识的迁移和性能的提升。

论文提出了一种新的CNN2GNN框架，通过可微的稀疏图学习模块来动态学习图结构，再通过基于响应的蒸馏方法将CNN中提取的知识迁移到GNN中，从而实现两者的结合。实验结果表明，所提出的方法在Mini-ImageNet数据集上的性能远高于ResNet152等传统CNN模型。

最近的相关研究包括：1.《Bilinear Models for Spatial-temporal Learning》；2.《A Comprehensive Survey on Graph Neural Networks》。