FlowVQA: Mapping Multimodal Logic in Visual Question Answering with Flowcharts

现有的视觉问答基准缺乏视觉基础和复杂性，尤其是在评估空间推理技能方面。我们介绍了FlowVQA，这是一个新颖的基准，旨在评估视觉问答多模态语言模型在处理流程图作为视觉背景的推理能力。FlowVQA包括来自三个不同内容来源的2,272个经过精心生成和人工验证的流程图像，以及22,413个不同的问题-答案对，以测试一系列推理任务，包括信息定位、决策和逻辑进展。我们使用各种策略对一套开源和专有的多模态语言模型进行了彻底的基准评估，随后进行了方向偏差分析。结果强调了该基准作为推进多模态建模领域的重要工具的潜力，为增强模型在视觉和逻辑推理任务中的表现提供了一个专注和具有挑战性的环境。

评估视觉推理能力的新型基准测试——FlowVQA

FlowVQA是一个基于流程图的视觉问答基准测试，用于评估多模态语言模型在推理能力方面的表现。

论文介绍了FlowVQA基准测试，包括2272张流程图和22413个问题-答案对，用于测试信息定位、决策和逻辑推理等推理任务。作者对多种开源和专有多模态语言模型进行了测试，结果表明FlowVQA是一个有挑战性的基准测试，可以用于提高模型在视觉和逻辑推理任务上的表现。

与此相关的研究包括VQA、CLEVR和GQA等基准测试，以及一些关于视觉和语言推理的研究，如Visual Reasoning with Multi-hop Feature Modulation和Reasoning about Actions and State Changes by Injecting Commonsense Knowledge等。