Video-MMMU: Evaluating Knowledge Acquisition from Multi-Discipline Professional Videos

人类通过三个认知阶段获取知识：感知信息、理解知识以及将知识应用于解决新问题。视频作为这一学习过程的有效媒介，有助于推动这些认知阶段的进展。然而，现有的视频基准测试未能系统地评估大型多模态模型（LMMs）的知识获取能力。为了解决这一差距，我们引入了Video-MMMU，这是一个多模态、多学科的基准测试，旨在评估LMMs从视频中获取和运用知识的能力。Video-MMMU包含由专家精心挑选的300个高级视频和900个由人工标注的问题，涵盖六个学科领域，通过与认知阶段对应的问题-答案对来评估知识获取：感知、理解和适应。我们提出了一种知识增益度量指标Δknowledge，用于量化观看视频后性能的提升。对LMMs的评估显示，随着认知要求的增加，其性能急剧下降，并突显了人类与模型在知识获取方面存在显著差距，强调了增强LMMs从视频中学习和适应能力的方法的重要性。

该论文试图解决现有视频基准无法系统评估大型多模态模型（LMMs）在知识获取能力方面的问题，特别是从视频中获取、理解和应用知识的能力。这是一个新的问题，因为之前的研究主要集中在静态图像和文本上，而忽略了视频这种动态且信息丰富的媒介。

论文的关键思路是引入了一个名为Video-MMMU的多模态、多学科基准，专门用于评估LMMs如何通过三个认知阶段（感知、理解、适应）来获取和应用视频中的知识。相比现有的研究，这篇论文首次提出了一个系统的框架来衡量模型在不同认知层次上的表现，并引入了知识增益指标（Δknowledge）来量化模型在观看视频前后的性能变化。

论文的亮点包括：1) 精心挑选了300个专家级别的视频和900个经过人工标注的问题，涵盖了六个不同的学科领域；2) 设计了与认知阶段对齐的问题-答案对，以评估模型在不同层次上的知识获取能力；3) 提出了Δknowledge这一新指标，能够量化模型的学习效果；4) 实验结果揭示了随着认知需求的增加，模型性能显著下降，表明当前模型在处理复杂任务时仍有较大提升空间。此外，论文强调了未来需要进一步研究的方向，例如如何增强LMMs的学习和适应能力。

近年来，在多模态学习领域，有几项相关研究值得关注：1)《Learning from Videos: A Survey》探讨了从视频中学习的挑战和方法；2)《Multimodal Pre-training with Frozen Language Models》研究了如何利用预训练的语言模型进行多模态任务；3)《VQA: Visual Question Answering》专注于视觉问答任务，虽然侧重于静态图像，但为视频问答提供了参考；4)《How Well Do Text-to-Image Diffusion Models Perform on Video?》分析了扩散模型在视频生成任务中的表现。这些研究共同推动了多模态学习的发展，但Video-MMMU的独特之处在于它专注于知识获取的过程和评估。