Benchmarking Vision-Language Models on Optical Character Recognition in Dynamic Video Environments

本文介绍了一个开源基准测试，用于评估视觉-语言模型（VLMs）在动态视频环境中执行光学字符识别（OCR）任务的表现。我们提供了一个精心整理的数据集，包含1,477帧人工标注的图像，涵盖了多个领域，包括代码编辑器、新闻广播、YouTube视频和广告。三个最先进的VLM——Claude-3、Gemini-1.5和GPT-4o与传统的OCR系统如EasyOCR和RapidOCR进行了对比测试。评估指标包括词错误率（WER）、字符错误率（CER）和准确率。我们的结果突显了VLMs在基于视频的OCR任务中的优势和局限性，展示了它们在许多场景中超越传统OCR模型的潜力。然而，诸如幻觉、内容安全策略以及对遮挡或样式化文本的敏感性等挑战仍然存在。该数据集和基准测试框架已公开发布，以促进进一步的研究。

该论文试图解决在动态视频环境中，光学字符识别（OCR）任务的挑战。具体来说，它旨在评估视觉-语言模型（VLMs）在这一特定环境下的表现，并与传统OCR系统进行比较。这并不是一个全新的问题，但将VLMs应用于视频中的OCR任务并进行系统性评估是一个相对新颖的方向。

关键思路是创建一个开放源码基准测试，专门用于评估VLMs在视频环境中执行OCR任务的能力。作者选择了三个最先进的VLMs（Claude-3、Gemini-1.5和GPT-4o），并将它们与传统的OCR系统（如EasyOCR和RapidOCR）进行对比。通过引入多样化的数据集，涵盖不同的应用场景（如代码编辑器、新闻广播等），研究展示了VLMs在某些场景下可能优于传统方法的优势。

该研究的主要亮点包括：1) 构建了一个包含1,477个手动标注帧的数据集，覆盖了多个领域；2) 使用了多种评价指标（WER、CER和Accuracy）来全面衡量模型性能；3) 指出了VLMs在视频OCR任务中的优势与局限性，特别是关于幻觉生成、内容安全政策及对遮挡或风格化文本的敏感度的问题；4) 数据集和评估框架均已开源，有助于推动未来的研究。

近期相关研究包括《Multimodal Learning for Video Captioning with Temporal Attention》、《Deep Text Recognition in Natural Scene Images》以及《Visual Question Answering: Datasets, Algorithms, and Future Challenges》等。这些研究探讨了多模态学习、自然场景图像中的文本识别以及视觉问答等方面，为当前论文提供了理论和技术支持。