Tiny Machine Learning: Progress and Futures

Tiny Machine Learning（TinyML）是机器学习的新前沿。通过将深度学习模型压缩到数十亿个物联网设备和微控制器（MCU）中，我们扩大了人工智能应用的范围，并实现了无处不在的智能。然而，由于硬件限制，TinyML具有挑战性：微小的内存资源使得难以容纳为云和移动平台设计的深度学习模型。裸机设备的编译器和推理引擎支持也有限。因此，我们需要共同设计算法和系统堆栈以实现TinyML。在本文中，我们将首先讨论TinyML的定义、挑战和应用。然后，我们将调查TinyML和MCU上深度学习的最新进展。接下来，我们将介绍MCUNet，展示如何通过系统算法共同设计，在物联网设备上实现ImageNet规模的人工智能应用。我们将进一步将解决方案从推理扩展到训练，并介绍小型设备上的训练技术。最后，我们提出了这个领域的未来方向。今天的大型模型可能成为明天的小型模型。TinyML的范围应该随着时间的推移而发展和适应。

Tiny Machine Learning (TinyML)的挑战在于硬件限制，如何在资源有限的IoT设备和微控制器上实现深度学习模型的部署和推理？

通过算法和系统堆栈的共同设计，实现TinyML的部署和推理，包括MCUNet和基于设备的小型训练技术。

论文介绍了TinyML的定义、挑战和应用，并介绍了最近在MCU上实现TinyML和深度学习的进展。论文还提出了MCUNet，展示了如何通过系统和算法的共同设计在IoT设备上实现ImageNet级别的AI应用。论文还介绍了基于设备的小型训练技术，并提出了未来的研究方向。

与TinyML和深度学习在MCU上的相关研究包括：'Deep Learning for IoT Devices: A Survey'、'TinyML: Machine Learning with TensorFlow Lite on Arduino and Ultra-Low-Power Microcontrollers'、'MCUNet: Tiny Deep Learning on IoT Devices'等。