Flash-VStream: Memory-Based Real-Time Understanding for Long Video Streams

由于大型语言模型和跨模态对齐的进展，现有的多模态视频理解方法在离线场景中取得了显著的性能。然而，作为现实世界中最常见的媒体形式之一，在线视频流很少受到关注。与离线视频相比，在线视频流的“动态”本质对现有模型的直接应用提出了挑战，并引入了新问题，例如极长期信息的存储，连续视觉内容与“异步”用户问题之间的交互。因此，在本文中，我们提出了Flash-VStream，一种模拟人类记忆机制的视频语言模型。我们的模型能够实时处理极长的视频流并同时回答用户的查询。与现有模型相比，Flash-VStream在推理延迟和VRAM消耗方面取得了显著的降低，这与在线流视频理解的执行密切相关。此外，鉴于现有的视频理解基准主要集中在离线场景，我们提出了VStream-QA，这是一个专门设计用于在线视频流理解的新型问答基准。在所提出的基准测试中与流行的现有方法进行比较，证明了我们的方法在这种具有挑战性的环境下具有优越性。为了验证我们方法的普适性，我们进一步在现有的视频理解基准上进行评估，并在离线场景中实现了最先进的性能。所有的代码、模型和数据集都可以在 https://invinciblewyq.github.io/vstream-page/ 上获得。

本文试图解决在线视频流理解中的挑战，如存储极长期信息、连续视觉内容和异步用户问题之间的交互等问题。同时，提出了一个新的在线视频流问题回答基准测试VStream-QA。

本文提出了Flash-VStream，一种视频-语言模型，模拟人类记忆机制，能够实时处理极长的视频流并同时响应用户查询。相比现有模型，Flash-VStream在推理延迟和VRAM消耗方面都有显著降低。

本文提出了Flash-VStream模型和VStream-QA基准测试，实验证明了其在在线视频流理解中的优越性。此外，该模型在离线场景中也取得了最先进的性能，代码、模型和数据集均已公开。

在最近的相关研究中，也有一些关于视频流理解的工作，如《Temporal Cycle-Consistency Learning》、《VideoBERT: A Joint Model for Video and Language Representation Learning》等。