KeyVideoLLM: Towards Large-scale Video Keyframe Selection

最近，随着网络视频的兴起，管理和理解大规模视频数据集变得越来越重要。由于其强大的视频理解能力，Video Large Language Models（VideoLLMs）近年来应运而生。然而，对于VideoLLMs的训练和推理过程需要大量的数据，这给数据管理带来了重大挑战，特别是在效率、鲁棒性和有效性方面。在这项工作中，我们提出了KeyVideoLLM，这是一种基于文本-视频帧相似性的关键帧选择方法，旨在高效、鲁棒和有效地管理VideoLLM数据。具体而言，KeyVideoLLM实现了高达60.9倍的数据压缩率，大大降低了磁盘空间需求，证明了其高效性。此外，它在所有视频格式和比例上保持了100%的选择成功率，相比现有的关键帧选择方法，提高了处理速度高达200倍，并且不需要超参数调整。除了其卓越的效率和鲁棒性，KeyVideoLLM还在视频问答任务的训练和推理阶段进一步提高了模型性能。值得注意的是，它在各种数据集上始终实现了最先进的实验结果。

论文旨在解决管理和理解大规模视频数据集的问题，并提出了一种基于文本-视频帧相似性的关键帧选择方法，以提高视频理解模型的效率、鲁棒性和效果。

KeyVideoLLM是一种文本-视频帧相似性的关键帧选择方法，可实现高达60.9倍的数据压缩率，同时维护了100％的选择成功率，并且不需要超参数调整。此外，KeyVideoLLM在视频问答任务的训练和推理阶段都能提高模型性能。

KeyVideoLLM实现了高效、鲁棒和有效的视频数据管理。实验结果表明，KeyVideoLLM在各种数据集上都表现出色，并且在视频问答任务中实现了最先进的实验结果。论文开源了代码。

在相关研究中，也有一些关于视频理解模型和关键帧选择方法的研究。例如，'VideoBERT: A Joint Model for Video and Language Representation Learning'和'Video Transformer Network'等。