【标题】Anomaly Detection in Video via Self-Supervised and Multi-Task Learning
【作者团队】Mariana-Iuliana Georgescu, Antonio Barbalau, Radu Tudor Ionescu, Fahad Shahbaz Khan, Marius Popescu, Mubarak Shah 【发表时间】2020/11/15 【论文链接】https://arxiv.org/pdf/2011.07491.pdf 本文首次提出一种多任务学习方法，该方法将一组新颖的自监督和知识蒸馏代理任务集成在单个以对象为中心的体系结构中，用于视频中的异常检测。 视频异常检测是一个具有挑战性的计算机视觉问题。由于训练时缺乏异常事件，异常检测需要在没有完全监督的情况下设计学习方法。本文通过对象级的自监督和多任务学习来检测视频中的异常事件。本文首先利用预训练的检测器来检测物体。然后，通过联合学习多个代理任务(三个自监督任务和一个基于知识提取的任务) 训练3D卷积神经网络来生成判别异常的特定信息。自我监督的任务是：（i）向前/向后移动对象的识别（时间箭头），（ii）在连续/间歇帧中的对象的识别（运动不规则），以及（iii）特定对象的外观信息的重建。知识提炼任务同时考虑了分类和检测信息，在发生异常时在师生模型之间产生了较大的预测差异。本文是第一个将视频中异常事件检测作为多任务学习问题的方法，将多个自监督和知识提炼代​​理任务集成在一个体系架构中。并且该轻量级架构在三个基准（Avenue，ShanghaiTech和UCSD Ped2）上优于最新技术。此外，本文进行了一项消融研究，证明了在多任务学习环境中整合自监督学习和常态特异性蒸馏的重要性。 图1 ： 基于自监督和多任务学习的异常检测方法框架（首先，本文在对象检测器(YOLOv3)的帮助下检测视频中的对象。对于每个对象，本文设计了三个自我监督任务(学习时间箭头、预测运动不规则性和预测中间框中的对象外观)和一个知识提取任务(使用YOLOv3和ResNet-50作为教师)。三维卷积神经网络在四个任务上联合训练。用虚线表示的模型是预先训练好的）。

内容中包含的图片若涉及版权问题，请及时与我们联系删除