Wolf: Captioning Everything with a World Summarization Framework

我们提出了Wolf，一个用于精确视频字幕的WOrLd摘要框架。Wolf是一个采用专家组合方法的自动字幕框架，利用视觉语言模型（VLMs）的互补优势。通过利用图像和视频模型，我们的框架捕捉了不同级别的信息并高效地进行了总结。我们的方法可应用于增强视频理解、自动标记和字幕。为了评估字幕质量，我们引入了CapScore，一种基于LLM的度量标准，用于评估生成的字幕与基准字幕之间的相似性和质量。我们进一步建立了三个领域的四个人工注释数据集：自动驾驶、一般场景和机器人，以便进行全面比较。我们展示了Wolf相对于研究社区的最新方法（VILA1.5、CogAgent）和商业解决方案（Gemini-Pro-1.5、GPT-4V）取得了卓越的字幕性能。例如，在挑战性的驾驶视频中，与GPT-4V相比，Wolf在质量方面提高了55.6%，在相似性方面提高了77.4%的CapScore。最后，我们建立了一个视频字幕基准，并引入了排行榜，旨在加速视频理解、字幕和数据对齐的进展。排行榜：https://wolfv0.github.io/leaderboard.html。

Wolf旨在提高视频字幕的质量和相似度，通过采用图像和视频模型的混合方法，捕捉不同层次的信息并高效地总结它们。

Wolf采用了一种混合专家方法，利用视觉语言模型（VLM）的互补优势，通过同时使用图像和视频模型来捕捉不同层次的信息。

论文提出了CapScore，一种基于LLM的指标，用于评估生成字幕与真实字幕之间的相似性和质量。作者还构建了四个人类注释数据集，并通过实验表明Wolf在自动驾驶、一般场景和机器人领域的字幕性能优于现有的研究方法和商业解决方案。作者还建立了一个基准测试，并引入了一个排行榜，旨在加速视频理解、字幕和数据对齐方面的进展。

与此相关的最近研究包括VILA1.5、CogAgent、Gemini-Pro-1.5和GPT-4V等。