MM-Vet: Evaluating Large Multimodal Models for Integrated Capabilities

MM-Vet: Evaluating Large Multimodal Models for Integrated Capabilities

解决问题：这篇论文提出了一个评估基准MM-Vet，旨在评估大型多模态模型在复杂多模态任务上的表现。该基准的开发解决了评估大型多模态模型时面临的问题，包括如何系统地构建和评估复杂多模态任务、如何设计能够适用于不同问题和回答类型的评估指标以及如何给出模型性能排名以外的洞见。

关键思路：论文的关键思路是基于对大型多模态模型的能力的分析，提出了六种核心的视觉-语言能力，并对这些能力的组合进行了评估，以评估不同模型的整合能力。相比于当前领域的研究，这篇论文的思路在于提出了一个评估基准，能够更全面地评估大型多模态模型的性能。

其他亮点：该论文的实验设计了一个基于大型多模态模型的评估器，能够评估不同问题类型和回答风格的输出，从而得出一个统一的评分指标。该论文还提供了一些代表性的大型多模态模型的实验结果，为不同的大型多模态模型系统范例和模型的能力提供了深入的洞见。此外，该论文还提供了代码和数据，可在https://github.com/yuweihao/MM-Vet上获取。

关于作者：该论文的主要作者包括Weihao Yu、Zhengyuan Yang、Linjie Li、Jianfeng Wang、Kevin Lin、Zicheng Liu和Lijuan Wang。他们来自微软亚洲研究院和微软研究院。Weihao Yu等人之前的代表作包括《Beyond Narrative Description: Generating Poetry from Images by Multi-Adversarial Training》和《Deep Interactive Object Selection》等。

相关研究：近期其他相关的研究包括《ImageBERT: Cross-modal Pre-training with Large-scale Weak-supervised Image-text Data》（Yan Wang等人，华为诺亚方舟实验室）、《MARGE: Pre-training via Paraphrasing》（Patrick Lewis等人，华盛顿大学）和《Multi-modal Transformer for Video Retrieval》（Xin Wang等人，清华大学）等。

论文摘要：本文介绍了一种名为MM-Vet的评估基准，用于检验大型多模态模型（LMM）在复杂多模态任务上的表现。近期的LMM展示了各种有趣的能力，例如解决黑板上的数学问题、推理新闻图片中的事件和名人、以及解释视觉笑话。快速的模型进展给评估基准的开发带来了挑战，包括：（1）如何系统地构建和评估复杂多模态任务；（2）如何设计评估指标，以适应不同类型的问题和答案；（3）如何给出模型性能排名之外的洞见。为此，作者提出了MM-Vet，基于这样的洞见：解决复杂任务的有趣能力通常是通过一个通才模型能够整合不同的核心视觉-语言（VL）能力来实现的。MM-Vet定义了6种核心VL能力，并检查了由能力组合导出的16个感兴趣的整合。对于评估指标，作者提出了一种基于LMM的评估器，用于开放式输出。该评估器可以跨不同的问题类型和答案风格进行评估，从而得出统一的评分指标。作者在MM-Vet上评估了代表性的LMM，提供了不同LMM系统范例和模型能力的洞见。代码和数据可在https://github.com/yuweihao/MM-Vet获取。

内容中包含的图片若涉及版权问题，请及时与我们联系删除