VideoQA in the Era of LLMs: An Empirical Study

视频大型语言模型（Video-LLMs）正在蓬勃发展，并已在许多视频语言任务中取得进展。作为黄金测试平台，视频问答（VideoQA）在Video-LLM的发展中发挥着关键作用。本研究对Video-LLMs在VideoQA中的行为进行了及时全面的研究，旨在阐明它们的成功和失败模式，并为更像人类的视频理解和问答提供见解。我们的分析表明，Video-LLMs在VideoQA方面表现出色；它们可以相关上下文线索并生成关于各种视频内容的合理响应。然而，模型在处理视频时间性方面表现不佳，无论是在推理时间内容顺序还是在基于QA的时间时刻上都存在困难。此外，模型的行为不直观-它们对抗性视频扰动不敏感，而对候选答案和问题的简单变化敏感。此外，它们并不一定具有更好的泛化能力。这些发现表明Video-LLMs在标准条件下具有良好的QA能力，但突出了它们在鲁棒性和可解释性方面的严重缺陷，表明在Video-LLM开发中急需理性。

本论文旨在对Video-LLMs在视频问答方面的表现进行全面研究，揭示其成功和失败的模式，并为更类人的视频理解和问答提供启示。同时，也试图探讨其在鲁棒性和可解释性方面的不足。

论文通过分析发现，Video-LLMs在视频问答方面表现出色，能够将上下文线索联系起来，生成合理的答案。但是，模型在处理视频时间性方面存在缺陷，无法推理关于时间内容排序和基于QA的时间时刻。此外，模型的行为不直观，对于视频的对抗性扰动不敏感，但对于候选答案和问题的简单变化敏感。而且，模型不一定具有更好的泛化能力。

论文的实验设计严谨，使用了多个数据集进行测试，并提出了一些值得关注的问题。然而，论文并没有公开其代码，需要进一步探讨其方法的可重复性。

最近的相关研究包括：《VideoBERT: A Joint Model for Video and Language Representation Learning》、《TVQA: Localized, Compositional Video Question Answering》、《ActionQA: Answering Questions About Physical Actions》等。