VisionGPT: Vision-Language Understanding Agent Using Generalized Multimodal Framework

随着大型语言模型（LLMs）和视觉基础模型的出现，如何将这些开源或API可用的模型的智能和能力结合起来实现开放世界的视觉感知仍然是一个开放的问题。本文介绍了VisionGPT，以 consolida te 和 automate 最先进的基础模型的集成，从而促进视觉语言理解和视觉导向AI的发展。VisionGPT 建立在一个广义的多模态框架之上，通过三个关键特征区别于其他模型：（1）利用LLMs（例如LLaMA-2）作为枢轴，将用户的请求分解为详细的动作提议，以调用适当的基础模型；（2）自动集成基础模型的多源输出，并为用户生成全面的响应；（3）适用于广泛的应用，如文本条件下的图像理解/生成/编辑和视觉问答。本文概述了VisionGPT的架构和能力，展示了它通过提高效率、多功能性、泛化和性能来革命计算机视觉领域的潜力。我们的代码和模型将公开发布。关键词：VisionGPT、开放世界的视觉感知、视觉语言理解、大型语言模型和基础模型。

本论文旨在解决如何结合大型语言模型和视觉基础模型，实现开放世界的视觉感知的问题。

论文提出了一种名为VisionGPT的多模态框架，利用大型语言模型将用户请求转化为详细的行动建议，并自动集成来自基础模型的多源输出，生成全面的响应。

VisionGPT具有高效性、多功能性和泛化性能，适用于文本条件下的图像理解/生成/编辑和视觉问答等应用。论文还介绍了VisionGPT的架构和能力，并展示了其潜力，提高了计算机视觉领域的性能。

最近在这个领域中，还有一些相关的研究，如CLIP和ViLBERT等。