Graph Neural Networks Automated Design and Deployment on Device-Edge Co-Inference Systems

设备-边缘协同推理范式的关键在于将模型分成适合设备和适合边缘的计算友好和计算密集部分。然而，对于图神经网络（GNN），我们发现仅仅分区而不改变其结构几乎无法充分发挥协同推理范式的潜力，因为GNN操作在异构设备上存在各种计算通信开销。我们提出了GCoDE，这是第一个自动化的GNN框架，创新地共同设计了体系结构搜索和每个操作在设备-边缘层次上的映射。GCoDE将设备通信过程抽象为一个明确的操作，并将体系结构搜索和操作映射融合到统一的空间中进行联合优化。此外，GCoDE搜索过程中使用的性能感知方法可以有效地评估异构系统中的体系结构效率。我们在GCoDE中实现了协同推理引擎和运行时分派器，以提高部署效率。实验结果表明，与现有方法相比，GCoDE在各种应用和系统配置中可以实现高达44.9倍的加速和98.2％的能量减少。

GCoDE旨在解决Graph Neural Networks在设备-边缘协同推理范式中的计算和通信开销问题。

GCoDE是第一个自动框架，通过联合优化架构搜索和操作映射来解决GNN的计算和通信开销问题。

GCoDE将设备通信过程抽象为显式操作，并将架构搜索和操作映射的融合在统一的空间中进行联合优化。论文采用面向性能的方法，有效评估了不同异构系统中的架构效率。实验结果表明，GCoDE在各种应用和系统配置下，相比现有方法可实现高达44.9倍的加速和98.2%的能量节约。

与GCoDE相关的研究包括：Neurosurgeon、ProxylessNAS、MnasNet、DARTS等。