Mondrian: On-Device High-Performance Video Analytics with Compressive Packed Inference

本文介绍了Mondrian，一种边缘系统，可以在高分辨率视频流上实现高性能物体检测。许多轻量级模型和系统优化技术已被提出，用于资源受限设备，但它们并没有充分利用加速器在动态的高分辨率视频上的潜力。为了实现这种能力，我们设计了一种新颖的压缩打包推理技术，通过选择性地确定需要处理的像素并将它们组合起来以最大化处理并行性来最小化每像素处理成本。特别是，我们的系统快速提取感兴趣区域（ROIs）并动态缩小它们，反映了物体和场景快速变化特性的影响。然后，它智能地将这些缩放后的ROIs组合成大画布，以最大化推理加速器（如GPU）的利用率。在各种数据集、模型和设备上的评估表明，Mondrian比最先进的基线（例如输入重新缩放、ROI提取、ROI提取+批处理）提高了15.0-19.7%的准确度，从而实现了比逐帧推理处理各种1080p视频流的吞吐量高6.65倍。我们将在论文审查后发布代码。

本论文旨在解决在高分辨率视频流上进行高性能目标检测的问题。当前的轻量级模型和系统优化技术虽然适用于资源受限设备，但它们并没有充分利用加速器在动态高分辨率视频上的潜力。

本论文提出了一种新颖的压缩打包推理方法，通过选择性地确定需要处理的像素并将它们组合起来以最大化处理并行性，从而最小化每个像素的处理成本。该系统快速提取感兴趣区域（ROIs）并动态缩小它们，反映了对象和场景快速变化的特征。然后，它智能地将这些缩放后的ROIs组合成大画布，以最大化GPU等推理加速器的利用率。

本论文的实验结果表明，Mondrian比最先进的基线模型（如输入重新缩放、ROI提取、ROI提取+批处理）提高了15.0-19.7%的准确率，导致处理各种1080p视频流的吞吐量比逐帧推理高6.65倍。该论文将在审查后发布代码。

相关研究包括基于边缘计算的目标检测，如MobiDet、Tiny YOLOv3等。还有一些关于推理优化的研究，如TensorRT、TensorFlow Lite等。