随着当前 AI 技术的发展，DNN 模型在移动端应用上被广泛部署使用。在实际部署中，DNN 模型在实际部署中的延迟（推理时间）是决定模型是否可用的一个重要指标。然而，模型设计过程中对数以亿计的设计选项进行实际的部署和延迟评估会造成巨大的开销。因此，如何进行高效、准确的模型运行延迟预测对模型的设计至关重要。但现有技术缺乏对部署平台优化策略的理解以及对灵活多变模型架构的泛化性，所以无法做到准确的模型推理时间预测。

 

针对上述问题，微软亚洲研究院异构计算组的研究员们提出并开发了 nn-Meter 模型推理时间预测系统。nn-Meter 提出基于内核单元的预测方法，通过自适应数据采集算法，可高效、准确地预测 DNN 模型在不同端侧设备上的推理延迟。

 

nn-Meter 荣获了MobiSys 2021 大会的最佳论文奖，且是本届大会上唯一一篇获得了Artifact Evaluation全部三个最高级别徽章的论文。 

 

在论文发表之后，nn-Meter 获得越来越多学术界和业界的关注。通过研究员和算法工程师的共同努力，面向用户友好的 DNN 推理时间预测工具 nn-Meter 终于开源啦！

 

目前 nn-Meter 开源了四款常见端侧设备（Mobile CPU, 2 Mobile GPUs, Intel VPU）的预测模型，且支持多种格式的模型输入文件。不仅如此，nn-Meter 还整合了微软 NNI 里的神经网络架构搜索（NAS）， 用户可利用 nn-Meter 实现 hardware-aware NAS。此外，除了目前支持的四款设备，nn-Meter 正在实现开源的 builder 可用来为用户端侧设备创建自己的推理时间预测模型。 

 

论文链接：https://air.tsinghua.edu.cn/Uploads/UEditor/Files/20210709/6376145008525256118804429.pdf

内容中包含的图片若涉及版权问题，请及时与我们联系删除