Are Language Models Puzzle Prodigies? Algorithmic Puzzles Unveil Serious Challenges in Multimodal Reasoning

本文介绍了一项新颖的多模态拼图解决任务，将其置于视觉问答的背景下。我们提出了一个新数据集AlgoPuzzleVQA，旨在挑战和评估多模态语言模型在解决算法拼图方面的能力，这需要视觉理解、语言理解和复杂的算法推理。我们创建了这些拼图，涵盖了各种数学和算法主题，如布尔逻辑、组合数学、图论、优化、搜索等，旨在评估视觉数据解释和算法问题解决技能之间的差距。数据集是自动从人类编写的代码中生成的。我们所有的拼图都有精确的解决方案，可以从算法中找到，无需繁琐的人工计算。这确保了我们的数据集在推理复杂性和数据集大小方面可以任意扩展。我们的研究发现，像GPT4V和Gemini这样的大型语言模型在拼图解决任务中表现有限。我们发现，在大量的拼图中，它们在多项选择问答设置中的表现接近随机。这些发现强调了将视觉、语言和算法知识整合起来解决复杂推理问题的挑战。

本文介绍了多模态拼图解决的新任务，将其放在视觉问答的背景下。作者提出了一个新的数据集，AlgoPuzzleVQA，旨在评估多模态语言模型在解决需要视觉理解、语言理解和复杂算法推理的算法拼图方面的能力。作者创建的拼图涵盖了各种数学和算法主题，如布尔逻辑、组合数学、图论、优化、搜索等，旨在评估视觉数据解释和算法问题解决能力之间的差距。研究表明，大型语言模型（LLMs）在拼图解决任务中表现有限，其性能在多项选择问答设置中对于大量拼图接近随机。这些发现强调了将视觉、语言和算法知识整合到解决复杂推理问题中的挑战。

本文提出了一个新的多模态拼图解决任务，并创建了一个新的数据集来评估多模态语言模型在解决算法拼图方面的能力。文章发现大型语言模型在拼图解决任务中表现有限，强调了整合视觉、语言和算法知识来解决复杂推理问题的挑战。

本文的亮点包括：1.提出了一个新的多模态拼图解决任务；2.创建了一个新的数据集，用于评估多模态语言模型在解决算法拼图方面的能力；3.发现大型语言模型在拼图解决任务中表现有限；4.强调了整合视觉、语言和算法知识来解决复杂推理问题的挑战。

最近的相关研究包括：1.视觉问答（Visual Question Answering）；2.多模态学习（Multimodal Learning）；3.算法拼图（Algorithmic Puzzles）；4.大型语言模型（Large Language Models）。