论文名为：“nn-Meter: 精准预测深度学习模型在边缘设备上的推理延迟”。

为了高效、准确地预测深度神经网络模型在不同边缘设备上的推理延迟，刘云新教授团队提出并开发了一个基于内核的模型推理延迟预测系统nn-Meter，引入了内核检测，可找出算子融合行为。通过对最有价值的数据进行采样，nn-Meter有效地建立了内核的延迟预测器。刘云新教授团队在一个大型数据集和三种类型的边缘设备上进行了实验，结果nn-Meter的表现明显优于先前的最好方法。

论文下载： https://air.tsinghua.edu.cn/news_detail.html?id=93&classId=100

内容中包含的图片若涉及版权问题，请及时与我们联系删除