Multi-resolution Rescored ByteTrack for Video Object Detection on Ultra-low-power Embedded Systems

本文介绍了一种名为MR2-ByteTrack的新型视频目标检测框架，适用于超低功耗嵌入式处理器。该方法通过交替处理高分辨率图像（320×320像素）和多个缩小的帧（192×192像素），将现成的深度神经网络（DNN）目标检测器的平均计算负载降低了最多2.25倍。为了解决由于减小图像输入尺寸而导致的精度下降问题，MR2-ByteTrack使用ByteTrack跟踪器对输出检测结果进行时间相关性处理，并使用一种新颖的概率Rescore算法来纠正潜在的误分类。通过将两个缩小的图像交替输入到不同的最先进的DNN目标检测器中，再结合MR2-ByteTrack，与仅使用全分辨率图像的基准逐帧推理方案相比，在GAP9微控制器上展示了平均精度提高2.16％和延迟降低43％的结果。该代码可在以下链接中找到：https://github.com/Bomps4/Multi_Resolution_Rescored_ByteTrack。

MR2-ByteTrack论文试图解决的问题是如何在超低功耗嵌入式处理器上实现视频目标检测。他们提出了一种新的方法来减少深度神经网络（DNN）的计算负载，同时保持较高的准确率。

MR2-ByteTrack的关键思路是交替处理高分辨率图像和多个缩小的帧，以减少平均计算负载。为了解决由于减小图像输入大小而导致的准确度降低问题，MR2-ByteTrack使用ByteTrack跟踪器对输出检测进行相关性分析，并使用新的概率Rescore算法纠正潜在的错误分类。

该论文的亮点在于他们提出的MR2-ByteTrack方法可以显著减少计算负载并提高准确率。他们的实验结果表明，相比于仅使用全分辨率图像的基线帧间推理方案，使用MR2-ByteTrack和不同的DNN目标检测器的平均准确率提高了2.16％，延迟降低了43％。此外，该论文提供了开源代码。

最近在这个领域中，还有一些相关的研究。例如，Fast R-CNN和YOLOv2等目标检测器已经被广泛研究。此外，一些研究还尝试使用轻量级网络来降低计算负载。