JOSENet: A Joint Stream Embedding Network for Violence Detection in Surveillance Videos

由于视频监控摄像头的可用性越来越高和对于犯罪预防的需求不断增长，暴力检测任务引起了研究界的更多关注。与其他动作识别任务相比，在监控视频中进行暴力检测还存在其他问题，例如实际斗殴场景的显著多样性。不幸的是，可用的数据集与其他动作识别数据集相比似乎非常小。此外，在监控应用中，场景中的人员每个视频都不同，而且镜头的背景也不同。此外，必须快速检测到现实生活监控视频中的暴力行为以防止不良后果，因此模型肯定会受益于减少内存使用和计算成本。这些问题使得经典的动作识别方法难以被采用。为了解决所有这些问题，我们介绍了JOSENet，这是一个新颖的自监督框架，可在监控视频中提供出色的暴力检测性能。所提出的模型接收两个时空视频流，即RGB帧和光流，并涉及一种新的规则化自监督学习方法。JOSENet相对于最先进的自监督方法提供了改进的性能，同时每个视频段所需的帧数减少了四分之一，帧率也降低了。我们提供了源代码和重现我们实验的说明，网址为https://github.com/ispamm/JOSENet。

论文旨在解决监控视频中暴力检测的问题，但由于数据集较小、场景和人物变化多，需要更快速、更节省计算资源的解决方案。

论文提出了一种自监督框架JOSENet，使用RGB帧和光流图像流，采用新的规则化自监督学习方法，可以在减少帧率和视频片段中的帧数的情况下提供优异的性能。

实验结果表明，JOSENet相比于其他自监督方法具有更好的性能；作者开源了代码并提供了实验的指导；论文提出的框架可以应用于其他领域的视频分析。

近期的相关研究包括：'Real-time Violence Detection in Surveillance Videos Using Deep Learning'、'Violence Detection in Surveillance Videos using Convolutional Neural Networks'等。