Live Video Captioning

这篇论文介绍了一种名为“密集视频字幕生成”的任务，旨在检测和描述视频序列中的事件。传统方法通常采用离线解决方案，即对整个视频进行字幕生成，而本文则提出了一种新的范式，即实时视频字幕生成（LVC）。在LVC中，密集视频字幕生成模型必须以在线方式为视频流生成字幕，面临重要的约束条件，如需要使用视频的部分观察结果、需要进行时间上的预测，以及确保实时响应。本文正式介绍了LVC的新问题，并提出了针对在线场景的新评估指标，证明了它们相对于传统指标的优越性。我们还提出了一种LVC模型，该模型集成了可变形transformers和时间过滤器，以应对LVC的新挑战。在ActivityNet Captions数据集上的实验评估验证了我们方法的有效性，并突出了它在LVC中相对于最先进的离线方法的性能。我们的模型结果以及集成了新指标的评估工具包已公开发布，以鼓励进一步研究LVC。

本论文尝试解决的问题是实时视频字幕生成（Live Video Captioning），即在在线视频流中生成字幕，需要考虑到视频的部分观测、时间预测和实时响应等约束条件。这是一个新问题。

本论文提出了一种新的实时视频字幕生成模型，结合了可变形transformers和时间过滤器，以解决实时字幕生成中的挑战。同时，为在线场景设计了新的评估指标，相比传统指标更具优越性。

本文的亮点包括：1. 提出了新的实时视频字幕生成问题；2. 提出了一种新的模型，结合了可变形transformers和时间过滤器；3. 设计了新的评估指标，相比传统指标更具优越性；4. 在ActivityNet Captions数据集上进行了实验，并公开了模型结果和评估工具。

与本论文相关的研究包括：1. 基于深度学习的视频字幕生成方法；2. 基于transformers的自然语言处理模型；3. 实时视频处理技术。相关论文包括：1. "Show, Attend and Tell: Neural Image Caption Generation with Visual Attention"；2. "Attention Is All You Need"；3. "Real-time Video Captioning with Recurrent Neural Networks"。