A structure-aware framework for learning device placements on computation graphs

现有的设备放置方法忽略了计算图的拓扑特征，大多依赖启发式方法进行图分区，同时它们要么采用grouper-placer架构，要么采用encoder-placer架构，需要理解代码操作之间的交互结构。为了弥合encoder-placer和grouper-placer技术之间的差距，我们提出了一个新的设备放置框架，利用强化学习从OpenVINO工具包中提取的较小计算图。该框架包括五个步骤，包括图粗化、节点表示学习和策略优化。它便于端到端的训练，并考虑了计算图的有向无环性质。我们还提出了一种模型变体，受到图解析网络和复杂网络分析的启发，可以使用未指定数量的组联合学习图表示学习和个性化图分区。为了训练整个框架，我们利用强化学习技术，通过采用建议设备放置的执行时间来制定奖励。我们通过三个基准模型（Inception-V3、ResNet和BERT）的多个实验展示了我们方法的灵活性和有效性。该框架的鲁棒性也通过消融研究得到了突出的体现。建议的放置方案改善了基准模型的推理速度，相对于CPU执行提高了高达58.2％，相对于其他常用基线提高了高达60.24％。

提出一种新的设备放置框架，以提高模型推理速度。

利用强化学习从OpenVINO工具包中提取的小型计算图进行设备放置，同时考虑计算图的有向无环性质。

通过多个实验展示了该方法的灵活性和有效性，使用了三个基准模型：Inception-V3、ResNet和BERT。该方法的推理速度比CPU执行快58.2％至60.24％，并进行了消融研究。

在设备放置领域，以前的方法大多忽略了计算图的拓扑特征，依赖于启发式方法进行图分区。