Uncovering What, Why and How: A Comprehensive Benchmark for Causation Understanding of Video Anomaly

视频异常理解（VAU）旨在自动理解视频中的异常事件，从而实现诸如交通监控和工业制造等各种应用。虽然现有的VAU基准主要集中在异常检测和定位上，但我们的重点在于更实用性，因此我们提出了以下关键问题：“发生了什么异常？”，“为什么会发生这种异常？”，以及“这种异常事件有多严重？”为了追寻这些答案，我们提出了一个全面的视频异常因果理解基准（CUVA）。具体而言，所提出的基准的每个实例都涉及三组人工注释，以指示异常事件的“什么”，“为什么”和“如何”，包括1）异常类型、开始和结束时间以及事件描述，2）关于异常原因的自然语言解释，以及3）反映异常影响的自由文本。此外，我们还引入了MMEval，这是一种新颖的评估指标，旨在更好地与人类对CUVA的偏好相一致，有助于衡量现有LLMs在理解视频异常的根本原因和相应影响方面的表现。最后，我们提出了一种新颖的基于提示的方法，可以作为CUVA的基线方法。我们进行了大量实验，以展示我们的评估指标和基于提示的方法的优越性。我们的代码和数据集可在https://github.com/fesvhtr/CUVA上获得。

论文旨在解决视频异常理解中的因果关系问题，即针对异常事件提出“发生了什么”、“为什么会发生”、“异常事件的影响有多严重”三个问题的回答。同时，还提出了一个全面的基准测试CUVA。

论文提出了一种基于人工注释的方法，结合三个方面的信息，即异常类型、起始时间、事件描述，异常发生的原因的自然语言解释，以及异常事件的影响的自由文本。同时，还提出了一种新的评估指标MMEval，用于衡量现有的LLMs在理解视频异常的根本原因和相应影响方面的表现。

论文的亮点包括：1. 提出了一个全面的基准测试CUVA，以便更好地理解视频异常的因果关系；2. 提出了一种新的评估指标MMEval，更好地衡量LLMs在理解视频异常的根本原因和相应影响方面的表现；3. 提出了一种基于提示的方法，作为CUVA的基线方法；4. 开源了代码和数据集。

最近的相关研究包括：1. Anomaly Detection and Localization (ADL)基准测试；2. 基于深度学习的视频异常检测和定位方法；3. 基于因果关系的视频分析方法。