Multi-Agent VQA: Exploring Multi-Agent Foundation Models in Zero-Shot Visual Question Answering

这项工作探讨了基础模型在视觉问答（VQA）任务中的零样本能力。我们提出了一个自适应多智能体系统，名为Multi-Agent VQA，通过使用专门的智能体作为工具来克服基础模型在目标检测和计数方面的局限性。与现有方法不同，我们的研究侧重于在不对特定VQA数据集进行微调的情况下系统的性能，使其在开放世界中更实用和稳健。我们提出了零样本场景下的初步实验结果，并突出了一些失败案例，为未来的研究提供了新的方向。

本文旨在探讨基于预训练模型的零样本学习在视觉问答任务中的应用，通过提出一个名为Multi-Agent VQA的自适应多智能体系统，来解决基础模型在物体检测和计数方面的局限性。

本文的关键思路是使用特定的代理作为工具来克服基础模型在物体检测和计数方面的局限性，提出了一个自适应多智能体系统，该系统不需要在特定的VQA数据集上进行微调，具有更实用和更健壮的特点。

本文的亮点包括零样本学习在视觉问答任务中的应用、提出了一个自适应多智能体系统、实验结果表明该系统具有更好的性能、提出了一些值得进一步研究的方向。

最近在这个领域中，还有一些相关的研究被进行，如：《VQA-E: Explaining, Elaborating, and Enhancing Your Answers for Visual Questions》、《Visual Question Answering: A Survey of Methods and Datasets》等。