NPHardEval4V: A Dynamic Reasoning Benchmark of Multimodal Large Language Models

理解多模态大语言模型（MLLMs）的推理能力是一个重要的研究领域。在本研究中，我们介绍了一个动态基准测试NPHardEval4V，旨在解决评估MLLMs纯推理能力中存在的差距。我们的基准测试旨在提供一个场所，将各种因素的影响，如图像识别和指令遵循，从模型的整体表现中分离出来，使我们可以专注于评估它们的推理能力。它是通过将NPHardEval问题的文本描述转换为图像表示来构建的。我们的发现揭示了不同模型之间推理能力的显著差异，并强调了MLLMs在推理方面相对于LLMs的相对较弱表现。我们还研究了不同提示样式的影响，包括视觉、文本和组合视觉和文本提示，对MLLMs的推理能力产生了不同的影响，展示了多模态输入在模型性能中的不同影响。与传统基准测试主要关注静态评估不同，我们的基准测试将每月更新，以防止过度拟合，并确保对模型进行更真实和精细的评估。我们相信，这个基准测试可以帮助理解和指导MLLMs的推理能力的进一步发展。基准数据集和代码可在https://github.com/lizhouf/NPHardEval4V上获得。

本论文旨在解决评估Multimodal Large Language Models（MLLMs）推理能力的问题，提出了一个新的动态基准测试NPHardEval4V，以便更准确地评估模型的推理能力。

该论文的关键思路是通过将文本问题转换为图像表示形式，从视觉和文本提示的影响中分离出模型的推理能力，比较不同模型在推理能力上的表现，并研究视觉、文本和混合提示对模型表现的影响。

论文发现不同模型在推理能力上存在显著差异，相对于LLMs，MLLMs在推理能力方面表现相对较弱。实验设计了不同提示方式的比较，并将基准测试定期更新以避免过拟合。研究结果可用于指导MLLMs推理能力的进一步发展。

在这个领域中，最近的相关研究包括：《GQA: A New Dataset for Real-World Visual Reasoning and Compositional Question Answering》、《CLEVR: A Diagnostic Dataset for Compositional Language and Elementary Visual Reasoning》等。