TimeScope: Towards Task-Oriented Temporal Grounding In Long Videos

在长视频中识别关键片段对于后续的理解和推理任务至关重要。本文提出一个新问题——面向任务的时序定位（Task-oriented Temporal Grounding, ToTG），其目标是根据任务的自然语言描述，定位包含必要信息的时间区间。与此同时，我们还提出了ToTG Bench，这是一个用于评估ToTG性能的综合性基准测试集。ToTG对传统方法构成了特殊挑战，原因在于这些方法泛化能力有限，且难以处理长视频。为应对这些挑战，我们提出了TimeScope，这是一种基于渐进式推理的全新框架。TimeScope首先在长视频中确定一个粗粒度的时间范围，该范围很可能包含关键片段，然后通过细粒度的时刻划分对该范围进行精细化调整。此外，我们还精心构建了一个高质量数据集——ToTG Pile，以增强TimeScope有效执行渐进式时序定位的能力。大量实验表明，TimeScope在各种设置下均持续优于现有的时序定位方法以及主流的多模态大语言模型（MLLMs），充分证明了其在解决这一新兴且具挑战性问题上的有效性。

论文提出了一种新的任务导向型时间定位问题（Task-oriented Temporal Grounding, ToTG），旨在根据自然语言描述的任务来定位长视频中包含关键信息的时间片段。该问题关注的是在复杂、长时视频中为特定任务寻找必要信息的区间，传统方法因泛化能力弱和难以处理长视频而表现不佳。这是一个较新的问题，强调任务驱动而非简单的事件检索。

作者提出TimeScope框架，采用渐进式推理机制：首先在长视频中粗略定位可能包含关键时刻的粗粒度时间范围（coarse-grained temporal scope），然后在该范围内进行细粒度的时刻划分以精确定位。这种两阶段的“由粗到细”策略提升了对长视频的理解能力和定位精度，相比现有方法更具系统性和可扩展性。

构建了首个面向ToTG任务的综合基准ToTG Bench，并整理高质量数据集ToTG Pile用于训练与评估；实验表明TimeScope在多种设置下均优于现有的时序定位方法和主流多模态大语言模型（MLLMs）；工作推动了任务驱动视频理解的发展，代码与数据集已开源，具备良好的可复现性和进一步研究潜力。

近期相关研究包括《Temporal Sentence Grounding in Videos with Adversarial Learning》、《Boundary-Aware Moment Localization in Videos》、《VideoLLM: Modeling Video Sequence with Large Language Models》以及《Think Before You Act: Strategic Anticipation for Action Recognition in Videos》等，这些工作分别聚焦于句子级时间定位、边界感知定位、视频与大模型融合及动作预测，但缺乏明确的任务导向语义建模，本论文填补了这一空白。