On-Device Training of Fully Quantized Deep Neural Networks on Cortex-M Microcontrollers

在设备上训练深度神经网络可以让模型在部署在微控制器单元（MCUs）上时适应和微调新收集的数据或变化的领域。然而，DNN训练是一个资源密集型的任务，由于处理器速度低、吞吐量受限、浮点支持有限和内存限制等原因，使得在MCUs上实现和执行DNN训练算法具有挑战性。在这项工作中，我们探索了针对Cortex-M MCUs的设备上DNN训练。我们提出了一种方法，使用完全量化训练（FQT）和动态部分梯度更新，在MCU上完全就地高效地训练DNN。我们在多个视觉和时间序列数据集上展示了我们方法的可行性，并提供了在实际硬件上训练精度、内存开销、能量和延迟之间的权衡的见解。

在Cortex-M微控制器上实现DNN的训练是一个挑战，因为它们具有低处理器速度、受限吞吐量、有限的浮点支持和内存限制。该论文试图解决在MCU上实现DNN训练的问题。

论文提出了一种使用完全量化训练（FQT）和动态部分梯度更新的方法，在MCU上实现DNN的高效训练。

论文在多个视觉和时间序列数据集上展示了他们的方法的可行性，并提供了有关训练精度、内存开销、能量和延迟之间权衡的见解。

最近的相关研究包括“Efficient Processing of Deep Neural Networks: A Tutorial and Survey”和“Deep Learning on Embedded Systems: A Review”。