MissionGNN: Hierarchical Multimodal GNN-based Weakly Supervised Video Anomaly Recognition with Mission-Specific Knowledge Graph Generation

在各个领域的安全问题日益严峻的背景下，视频异常检测（VAD）和视频异常识别（VAR）的任务已经成为智能监控、证据调查、暴力警报等应用中至关重要的任务。这些任务旨在识别和分类视频数据中的异常行为，面临着重大挑战，因为异常情况的稀有性导致数据极度不平衡，而且对于监督学习来说，广泛的帧级数据注释是不可行的。本文介绍了一种新颖的基于分层图神经网络（GNN）的模型MissionGNN，通过利用最先进的大型语言模型和全面的知识图谱，实现了有效的弱监督学习，以解决这些挑战。我们的方法通过避免对大型多模态模型进行繁重的梯度计算，并实现无固定视频分割的完全帧级训练，绕过了以前方法的限制。利用自动化的、任务特定的知识图谱生成，我们的模型为实时视频分析提供了实用和高效的解决方案，不受以前基于分割或多模态方法的约束。在基准数据集上的实验验证证明了我们模型在VAD和VAR中的性能，突显了其在视频监控系统中重新定义异常检测和识别的潜力。

本论文旨在解决视频异常检测和识别中存在的类别极度不平衡以及数据注释困难的问题。

本文提出了一种基于层次图神经网络的模型MissionGNN，通过利用最先进的大型语言模型和全面的知识图谱，实现了在VAR中的高效弱监督学习。该方法避免了对大型多模态模型的重量级梯度计算，并且能够在没有固定视频分割的情况下进行全帧级别的训练。

本文的亮点包括使用自动化的任务特定知识图谱生成、提供实时视频分析的实际有效解决方案、在基准数据集上进行的实验验证、在VAD和VAR中的良好性能表现以及对视频监控系统中异常检测和识别的潜在影响。

在这个领域中，最近的相关研究包括《A Comprehensive Survey on Graph Neural Networks》、《Graph Convolutional Networks for Text Classification》等。