OVO-Bench: How Far is Your Video-LLMs from Real-World Online Video Understanding?

时间感知能力，即根据问题提出的时间戳进行动态推理的能力，是离线和在线视频大模型之间的关键区别。与依赖完整视频进行静态、事后分析的离线模型不同，在线模型增量处理视频流，并根据问题提出的时间戳动态调整其响应。尽管时间感知能力非常重要，但在现有的基准测试中尚未得到充分评估。为了填补这一空白，我们提出了OVO-Bench（在线视频基准），这是一个强调时间戳重要性的新型视频基准，旨在评估高级在线视频理解能力。OVO-Bench评估了视频大模型在三个不同场景下对特定时间戳事件进行推理和响应的能力：（1）回溯：追溯过去事件以回答问题；（2）实时理解：在当前时间戳上理解并响应正在发生的事件；（3）前瞻性主动响应：延迟响应，直到有足够的未来信息可以准确回答问题。OVO-Bench包含12项任务，涵盖644个独特视频和大约由人工精心标注的2,800个细粒度元注释，带有精确的时间戳。我们将自动化生成管道与人工标注相结合，利用这些高质量样本进一步开发了一个沿视频时间线系统查询视频大模型的评估管道。对九个视频大模型的评估显示，尽管在传统基准测试上有所进步，但当前模型在在线视频理解方面仍存在困难，与人类代理相比存在显著差距。我们希望OVO-Bench能够推动视频大模型的发展，并激励未来在线视频推理的研究。我们的基准和代码可以在https://github.com/JoeLeelyf/OVO-Bench获取。

该论文旨在解决现有视频语言模型（LLM）在在线视频理解方面存在的不足，特别是它们缺乏根据提问时的时间戳动态推理的能力。这是一个相对较新的问题，强调了实时处理和响应视频流中事件的重要性。

论文的关键思路是引入OVO-Bench（Online-VideO-Benchmark），一个专门设计来评估视频LLM在不同时间场景下表现的新型基准测试。与传统的离线模型不同，OVO-Bench强调在线模型应具备的时间感知能力，即能够根据提问的时间点追溯过去、理解当前或预测未来的事件。这一思路新颖之处在于它填补了现有评估工具在这方面的空白。

论文通过创建包含644个独特视频和约2800个精细标注的数据集，结合自动化生成管道与人工校验，确保了高质量样本的可用性。此外，作者开发了一套系统化的查询管道，可以沿视频时间线对视频LLM进行评估。实验结果显示，尽管现有模型在传统基准上有所进步，但在在线视频理解方面仍存在明显差距。所有资源已开源，鼓励社区进一步研究和发展。

最近，在视频理解领域内，其他相关研究包括：1)《Temporal Reasoning in Videos: A Survey》综述了视频中时间推理的研究进展；2)《ActivityNet: A Large-Scale Video Benchmark for Human Activity Understanding》提出了大规模人类活动理解的视频基准；3)《Epic-Kitchens: Temporal Action Segmentation and Anticipation in Complex Everyday Activities》专注于日常复杂活动中动作分割和预期的任务。这些研究共同推动了视频理解技术的进步。