MCUNet: Tiny Deep Learning on IoT Devices

demo视频：https://youtu.be/YvioBgtec4U 论文链接：https://arxiv.org/abs/2007.10319

本文针对低功耗的IoT设备提出了MCUNet：TinyEngine（轻量级推理引擎）+ TinyNAS（轻量级NAS），作者称MCUNet是第一个在现有商用微控制器上达到ImageNet top1精度超过70％的系统！在物联网设备上进行小型机器学习的时代已经到来！作者团队：MIT&台湾大学&IBM

基于微控制器单元（MCU）的微型IoT设备上的机器学习很吸引人，但又充满挑战：微控制器的内存比手机少2-3个数量级。我们提出了MCUNet，该框架可以共同设计高效的神经体系结构（TinyNAS）和轻量级推理引擎（TinyEngine），从而在微控制器上实现ImageNet规模的推理。TinyNAS采用了两阶段的神经体系结构搜索方法，该方法首先优化搜索空间以适应资源限制，然后在优化的搜索空间中专门研究网络体系结构。 TinyNAS可以在较低的搜索成本下自动处理各种约束（即设备，延迟，能源，内存）。 TinyNAS与TinyEngine共同设计，后者是一种内存有效的推理库，可扩展设计空间并适合更z大的模型。与TF-Lite Micro和CMSIS-NN相比，TinyEngine根据整体网络拓扑而不是逐层优化来调整内存调度，从而将内存使用量减少了2.7倍，并将推理速度提高了1.7-3.3倍。与量化的MobileNetV2和ResNet-18相比，MCUNet是第一个在现成的商用微控制器上达到ImageNet top1精度超过70％的系统，其使用的SRAM减少了3.6倍，闪存减少了6.6倍。在视觉和音频唤醒单词任务上，MCUNet达到了最先进的精度，并且比MobileNetV2和基于ProxylessNAS的解决方案运行速度快2.4-3.4倍，峰值SRAM减小了2.2-2.6倍。我们的研究表明，在物联网设备上始终在线进行小型机器学习的时代已经到来。

内容中包含的图片若涉及版权问题，请及时与我们联系删除