Ferret-v2: An Improved Baseline for Referring and Grounding with Large Language Models

本文介绍了Ferret-v2，这是对Ferret的重大升级，具有三个关键设计。Ferret-v2采用了灵活的方法，无缝地将区域理解融入到大型语言模型（LLM）中，以促进其指称和基础能力，但它也存在一定的限制：受到预先训练的固定视觉编码器的限制，无法在更广泛的任务上表现良好。Ferret-v2的三个关键设计包括：（1）任何分辨率的基础和指称：一种灵活的方法，可以轻松处理更高的图像分辨率，提高模型处理和理解图像的能力。 （2）多粒度视觉编码：通过集成附加的DINOv2编码器，模型可以学习更好和更多样化的全局和细粒度视觉信息的基础上下文。（3）三阶段训练范式：除了图像-字幕对齐外，还提出了一个额外的阶段，用于高分辨率密集对齐，然后进行最终指令调整。实验表明，由于其高分辨率缩放和细粒度视觉处理，Ferret-v2相对于Ferret和其他最先进的方法提供了实质性的改进。

Ferret-v2试图解决图像指示性任务中的视觉理解问题，通过提出一个新的模型来改进现有模型在处理高分辨率图像和细粒度视觉信息方面的能力。

Ferret-v2的关键思路是采用任意分辨率的图像指示和参考方法，使用多粒度视觉编码器来学习全局和细粒度的视觉信息，并提出三阶段的训练策略来提高模型的性能。

Ferret-v2的实验结果表明，该模型在处理高分辨率图像和细粒度视觉信息方面表现出色，相比现有模型有显著提高。论文提出的方法可以用于语言和视觉的多模态任务，如图像描述和视觉问答。

在相关研究方面，最近的工作主要集中在多模态学习和图像指示性任务上，例如ViLBERT、LXMERT和UNICORN等模型。