Accelerating Image-based Pest Detection on a Heterogeneous Multi-core Microcontroller

本文研究了在野外部署特殊的基于摄像头的传感器节点来监测苹果园中的苹果蠹虫。该虫害对全球作物生产构成重大威胁，可能导致苹果园产量损失高达80%。文章采用了一种新型的最先进微控制器单元（MCU）——GreenWaves Technologies的GAP9片上系统，该芯片由10个RISC-V通用核心和一个卷积硬件加速器组成，研究了在传感器节点中嵌入计算机视觉算法的方法。我们将轻量级的Viola-Jones检测算法与针对虫害检测任务训练的卷积神经网络（CNN）MobileNetV3-SSDLite的性能进行了比较。在两个数据集上，这两种方法在摄像头传感器与虫害目标之间距离不同的情况下，CNN的泛化能力更强，检测准确率在83%到72%之间。由于GAP9的CNN加速器，CNN推理任务仅需要147毫秒来处理一张320×240的图像。与只依靠通用核心进行处理的GAP8 MCU相比，我们实现了9.5倍更快的推理速度。当在3.7V的1000mAh电池上运行时，估计寿命约为199天，每30秒处理一张图像。我们的研究表明，这种新型的异构MCU可以以仅4.85 mJ的能量消耗执行端到端的CNN推理，与更简单的Viola-Jones算法的效率相匹配，并提供比以前方法低15倍的功耗。代码位于：https://github.com/Bomps4/TAFE_Pest_Detection。

本文旨在研究如何利用GreenWaves Technologies' GAP9 System-on-Chip中的卷积硬件加速器，将计算机视觉算法嵌入传感器节点，以检测果园中的虫害。同时，比较了轻量级的Viola-Jones检测器算法和MobileNetV3-SSDLite卷积神经网络在不同数据集上的性能表现。

本文提出了一种新型的异构MCU，可以实现端到端的卷积神经网络推理，能够以更低的能耗和更快的推理速度检测果园中的虫害。

本文的亮点包括：使用了GreenWaves Technologies' GAP9 System-on-Chip中的卷积硬件加速器来加速卷积神经网络的推理；比较了轻量级的Viola-Jones检测器算法和MobileNetV3-SSDLite卷积神经网络在不同数据集上的性能表现；在一个1000 mAh电池和3.7 V的电压下，估计其寿命约为199天，每30秒处理一张图像；开源了代码。

最近的相关研究包括：1. Yu等人的“一种基于卷积神经网络的植物病害检测系统”；2. Wang等人的“一种基于深度学习的果园虫害检测方法”。