Comparing Humans, GPT-4, and GPT-4V On Abstraction and Reasoning Tasks

我们使用ConceptARC基准测试[10]，探索了GPT-4的纯文本和多模态版本的抽象推理能力，该基准测试旨在评估核心知识概念的稳健理解和推理能力。我们通过使用更详细的单次提示（而不是简单的零次提示）来评估GPT-4在纯文本版本的ConceptARC任务上的工作，并通过使用最简单任务的图像版本的零次提示和单次提示来评估GPT-4V，即GPT-4的多模态版本。我们的实验结果支持这样一个结论：GPT-4的两个版本都没有达到类人水平的稳健抽象能力。

论文试图评估GPT-4的抽象推理能力，特别是在核心知识概念的理解和推理方面。这是否是一个新问题？

论文使用ConceptARC基准测试来评估GPT-4的抽象推理能力，包括使用更详细的单次提示来评估文本版本，并使用图像版本的最简单任务的零次和单次提示来评估多模态版本（GPT-4V）。结果表明，GPT-4的抽象推理能力还未达到人类水平。

论文的实验设计包括使用ConceptARC基准测试来评估GPT-4的抽象推理能力，使用更详细的单次提示来评估文本版本，并使用图像版本的最简单任务的零次和单次提示来评估多模态版本（GPT-4V）。论文的实验结果表明，GPT-4的抽象推理能力还未达到人类水平，这表明了该领域的研究仍有很大的发展空间。

最近在这个领域中，还有一些相关的研究，如Moskvichev等人的工作，他们使用ConceptNet来评估GPT-3的抽象推理能力；还有一些研究探讨了使用多模态信息来提高模型的抽象推理能力，如Lu等人的工作，他们使用了图像和文本信息来提高模型的抽象推理能力。