BiSwift: Bandwidth Orchestrator for Multi-Stream Video Analytics on Edge

高清（HD）监控和道路交通摄像头的需求量大幅增长，需要大量计算资源进行实时分析。最近，将前端设备的帧数据转移到后端边缘服务器已经显示出了巨大的潜力。在多流竞争环境中，有效的带宽管理和适当的调度对于确保高推断精度和高吞吐量至关重要。为了实现这一目标，我们提出了BiSwift，这是一个双层框架，它通过一种新颖的自适应混合编解码器和多级管道，以及全局带宽控制器来扩展并发实时视频分析。较低级别的前后端协作机制（称为自适应混合编解码器）在本地优化单个流的准确性并加速端到端视频分析。较高级别的调度器旨在通过全局带宽控制器在多个流之间实现准确性公平。BiSwift的评估表明，BiSwift能够在只配备NVIDIA RTX3070（8G）GPU的边缘设备上实时检测9个流。与最先进的视频分析管道相比，BiSwift提高了10%~21%的准确性，并呈现出1.2~9倍的吞吐量。

解决高清摄像头实时视频分析的计算资源需求大的问题，提高多路视频流的并发处理能力和带宽管理效率。

提出了一个双层框架BiSwift，包括自适应混合编解码器和全局带宽控制器。自适应混合编解码器在单路视频流上优化准确性和加速端到端视频分析，全局带宽控制器通过多级流水线实现多路视频流的准确性公平和高吞吐量。

实验结果表明BiSwift能够在只配备NVIDIA RTX3070（8G）GPU的边缘设备上实时处理9路视频流，相比于现有视频分析流水线提高了10%~21%的准确性和1.2~9倍的吞吐量。

最近的相关研究包括基于深度学习的实时视频分析和边缘计算资源管理等。