RegionGPT: Towards Region Understanding Vision Language Model

视觉语言模型（VLMs）通过将大型语言模型（LLMs）与图像文本对整合，经历了快速发展。然而，由于视觉编码器的空间感知能力有限以及使用粗粒度的训练数据缺乏详细的区域特定标题，它们在详细的区域视觉理解方面仍然存在困难。为了解决这个问题，我们介绍了RegionGPT（简称RGPT），这是一个专门设计用于复杂的区域级字幕和理解的新框架。RGPT通过对现有视觉编码器进行简单而有效的修改，增强了区域表示的空间感知能力。我们进一步通过在训练和推理阶段都加入任务导向的指令提示来提高需要特定输出范围的任务的性能，同时保持模型对于通用任务的适用性。此外，我们开发了一个自动化的区域字幕数据生成流水线，用详细的区域级标题丰富了训练集。我们证明了一种通用的RGPT模型可以有效地应用于各种区域级任务，并显著提高性能，包括但不限于复杂的区域描述、推理、对象分类和指代表达理解。

本论文旨在解决视觉语言模型（VLMs）在区域级别的理解和描述方面存在的问题，包括视觉编码器的空间感知能力不足和训练数据缺乏区域特定的描述。

本文提出了RegionGPT（RGPT）框架，通过对现有视觉编码器进行简单而有效的修改，增强了区域表示的空间感知能力，并在训练和推理阶段集成了任务引导指令提示，以提高特定输出范围任务的性能。

本文开发了自动区域描述数据生成管道，丰富了训练集，提高了模型性能。在多个区域级任务上进行了实验验证，包括复杂区域描述、推理、物体分类和指称表达理解。本文的方法在这些任务上都取得了显著的性能提升。

与本文相关的研究包括：1）使用语言模型和图像编码器的视觉语言模型；2）区域级别的图像标注和理解；3）在自然语言处理和计算机视觉领域中使用预训练语言模型的研究。相关论文包括《Show and Tell: A Neural Image Caption Generator》、《Bottom-Up and Top-Down Attention for Image Captioning and Visual Question Answering》等。