Gemini in Reasoning: Unveiling Commonsense in Multimodal Large Language Models

多模态大语言模型（MLLMs）的兴起，比如OpenAI的GPT-4V（ision），显著影响了学术和工业领域。这些模型增强了大语言模型（LLMs）的高级视觉理解能力，有助于它们在各种多模态任务中的应用。最近，谷歌推出了Gemini，这是一种专门用于多模态集成的尖端MLLM。尽管它有所进步，但初步基准测试表明，Gemini在常识推理任务方面落后于GPT模型。然而，这种基于有限数据集（即HellaSWAG）的评估并没有完全捕捉到Gemini的真正常识推理潜力。为了填补这一差距，我们的研究对需要跨模态整合常识知识的复杂推理任务中Gemini的表现进行了全面评估。我们对12个常识推理数据集进行了全面分析，涵盖了从一般到特定领域任务的范围。这包括11个仅关注语言的数据集，以及一个包含多模态元素的数据集。我们在四个LLM和两个MLLM上进行了实验，证明了Gemini在常识推理能力方面具有竞争力。此外，我们还确定了当前LLM和MLLM在解决常识问题时面临的共同挑战，强调了进一步提高这些模型的常识推理能力的必要性。

本篇论文旨在评估Google的Gemini多模态大语言模型在常识推理任务中的表现，特别是在需要跨模态整合常识知识的复杂推理任务中。同时，本文也探讨当前大语言模型和多模态大语言模型在解决常识问题时面临的挑战。

本文通过对12个常识推理数据集的全面分析，证明了Gemini在常识推理方面具有竞争力。同时，本文也指出了当前大语言模型和多模态大语言模型在解决常识问题时的共同挑战，强调了进一步改进这些模型常识推理能力的必要性。

本文使用了12个常识推理数据集进行实验，并涉及4个大语言模型和2个多模态大语言模型。实验结果证明了Gemini在常识推理方面具有竞争力。此外，本文还指出了当前大语言模型和多模态大语言模型在解决常识问题时的共同挑战，需要进一步改进这些模型的常识推理能力。

最近的相关研究包括OpenAI的GPT-4V和HellaSWAG数据集，以及Google的Gemini模型。