Natural Language Understanding and Inference with MLLM in Visual Question Answering: A Survey

视觉问答（VQA）是一项结合了自然语言处理和计算机视觉技术的挑战性任务，并逐渐成为多模态大语言模型（MLLMs）的一个基准测试任务。我们的调查旨在概述VQA的发展历程，并详细描述具有高时效性的最新模型。本调查提供了关于图像和文本自然语言理解的最新综合，以及基于图像-问题信息的核心VQA任务的知识推理模块。此外，我们详细阐述了在VQA中使用视觉-语言预训练模型和多模态大语言模型提取和融合模态信息的最新进展。我们还全面回顾了VQA中知识推理的进展，详细介绍了内部知识的提取和外部知识的引入。最后，我们介绍了VQA的数据集和不同的评估指标，并讨论了未来工作的可能方向。

该论文旨在全面概述视觉问答（VQA）任务的发展现状，并详细介绍最新的模型和技术。VQA 是一个结合自然语言处理和计算机视觉的挑战性任务，涉及对图像和文本的理解及知识推理。

论文的关键思路在于提供一个最新的、详尽的 VQA 领域综述，特别是强调了多模态大语言模型（MLLMs）在 VQA 中的应用。与现有研究相比，本文不仅关注模型的技术细节，还深入探讨了知识推理模块的进展，包括内部知识提取和外部知识引入。

论文详细介绍了近期在多模态预训练模型和 MLLMs 中的进展，特别是在模态信息的提取和融合方面。此外，文章还系统地回顾了知识推理在 VQA 中的应用，提供了丰富的数据集和评估指标的介绍。论文还讨论了未来的研究方向，如更高效的多模态融合方法和更强大的知识推理能力。值得注意的是，许多提到的模型和方法都有开源代码，便于复现和进一步研究。

近年来，VQA 领域的相关研究非常活跃。例如，《Multi-Modal Pre-Training for Visual Question Answering》探讨了多模态预训练在 VQA 中的应用；《Knowledge-Guided Visual Question Answering》则重点研究了如何利用外部知识提升 VQA 模型的性能；《Cross-Modal Attention Mechanisms for Visual Question Answering》提出了跨模态注意力机制来改进 VQA 的表现。