论文标题：Skip-Convolutions for Efficient Video Processing

论文链接：https://arxiv.org/abs/2104.11487

作者单位：高通AI研究院

跳跃卷积通过有效利用视频中的时间冗余来达到SOTA，可助力HRNet、EfficientDet等网络性能提升！计算成本降低了3到4倍，而准确性没有任何下降。

我们提出跳跃卷积（Skip-Convolutions）以利用视频流中的大量冗余并节省计算量。每个视频表示为跨帧和网络激活的一系列变化，表示为残差。我们重新制定标准卷积以在残差帧上有效地进行计算：每层都与一个二进制门相连，以决定残差对于模型预测是否重要（例如前景区域）是否重要，或者可以安全地跳过残差，例如背景区域。这些门既可以实现为与卷积核联合训练的高效网络，也可以根据其大小简单地跳过残差。门功能还可以合并按块稀疏结构，这是在硬件平台上有效实施所需的。通过在两种最先进的体系结构（即EfficientDet和HRNet）中用Skip-Convolutions替换所有卷积，我们针对两个不同的任务将其计算成本始终降低了3到4倍，而准确性没有任何下降。与现有模型压缩以及图像和视频效率方法的广泛比较表明，跳跃卷积通过有效利用视频中的时间冗余来达到SOTA。

内容中包含的图片若涉及版权问题，请及时与我们联系删除