Image Textualization: An Automatic Framework for Creating Accurate and Detailed Image Descriptions

图像描述数据集在各种应用中起着至关重要的作用，如图像理解、文本到图像生成和文本-图像检索。目前，图像描述数据集主要来自两个来源。一个来源是从网络上抓取图像-文本对。尽管这些描述很丰富，但通常质量较低且嘈杂。另一个来源是通过人工标注。像COCO这样的数据集通常非常简短，缺乏细节。虽然人类可以注释详细的图像描述，但高昂的注释成本限制了可行性。这些限制强调了需要更有效和可扩展的方法来生成准确和详细的图像描述。在本文中，我们提出了一种创新的框架，称为图像文本化（IT），它通过利用现有的多模态大语言模型（MLLMs）和多个视觉专家模型的协作方式自动产生高质量的图像描述，最大限度地将视觉信息转换为文本。为了解决当前缺乏详细描述基准的问题，我们提出了几个综合评估基准，验证了我们的框架创建的图像描述的质量。此外，我们展示了LLaVA-7B，受益于在IT策划描述上的训练，获得了改进的能力，可以生成更丰富的图像描述，大大增加了其输出的长度和细节，并减少了幻觉。

本论文旨在提出一种名为Image Textualization（IT）的框架，通过多模态大型语言模型（MLLM）和多个视觉专家模型的协同作用，自动产生高质量的图像描述，以解决现有图像描述数据集质量低和注释成本高的问题。

论文的关键思路是通过将多个视觉专家模型和大型语言模型相结合，最大限度地将视觉信息转化为文本，从而自动生成高质量的图像描述。

论文提出了IT框架，并设计了多个基准测试来验证其生成的图像描述的质量。同时，论文还展示了通过IT框架训练后的LLaVA-7B模型能够生成更丰富的图像描述，且有更少的虚假信息。此外，论文还提到了当前图像描述领域的研究现状和存在的问题。

最近在这个领域中，还有一些相关的研究，例如：《Show, Attend and Tell: Neural Image Caption Generation with Visual Attention》、《Bottom-Up and Top-Down Attention for Image Captioning and Visual Question Answering》等。