Movie101v2: Improved Movie Narration Benchmark

自动电影叙述旨在创建与视频相对应的情节描述，以帮助视障观众。它与标准视频字幕不同，因为它不仅需要描述关键视觉细节，还需要推断跨多个电影镜头发展的情节，因此具有独特和持续的挑战。为了推进自动电影叙述系统的发展，我们首先重新审视现有数据集的限制，并开发了一个大规模的双语电影叙述数据集Movie101v2。其次，考虑到实现适用的电影叙述的基本困难，我们将长期目标分为三个渐进阶段，并试图集中于特定阶段，即理解单个片段。我们还引入了一种新的叙述评估方法，以配合我们的分阶段任务目标。第三，使用我们的新数据集，我们基准测试了几个领先的大规模视觉语言模型，包括GPT-4V，并对当前模型在电影叙述生成方面面临的挑战进行了深入研究。我们的研究结果表明，实现适用的电影叙述生成是一个迷人的目标，需要深入研究。

论文旨在推进自动电影叙述系统的发展，以帮助视障观众，但是这需要描述关键视觉细节和推断跨多个电影镜头发展的情节，因此存在独特且持续的挑战。

为了解决自动电影叙述的挑战，论文首先重新审视现有数据集的局限性，并开发了一个大规模的双语电影叙述数据集 Movie101v2。其次，将长期目标分为三个渐进阶段，并暂时关注于个体片段内的理解。最后，使用新数据集，对几个领先的大视觉语言模型进行基准测试，并深入研究当前模型在电影叙述生成方面面临的挑战。

论文的亮点包括开发了一个大规模的双语电影叙述数据集 Movie101v2，提出了一个新的叙述评估，以配合分阶段任务目标，对几个领先的大视觉语言模型进行了基准测试，并深入研究了当前模型在电影叙述生成方面面临的挑战。论文的实验设计和数据集使用值得关注，但是未提供开源代码。该领域的工作需要进一步深入研究。

最近在这个领域中，还有一些相关的研究，例如《A Multimodal Transformer for Unaligned Multimodal Language Sequences》、《Multimodal Transformer for Unaligned Multimodal Language Sequences》等。