VisionLLM v2: An End-to-End Generalist Multimodal Large Language Model for Hundreds of Vision-Language Tasks

我们介绍了VisionLLM v2，这是一个端到端的通用多模态大型模型（MLLM），它将视觉感知、理解和生成统一在一个框架中。与传统的仅限于文本输出的MLLM不同，VisionLLM v2显著扩大了其应用范围。它不仅在传统的视觉问答（VQA）方面表现出色，而且在开放式、跨领域的视觉任务中也表现出色，例如对象定位、姿态估计、图像生成和编辑。为此，我们提出了一种新的信息传递机制，称为“超级链接”，作为连接MLLM和特定任务解码器的媒介。它不仅允许MLLM和多个下游解码器之间的任务信息和梯度反馈的灵活传递，而且还有效地解决了多任务场景中的训练冲突。此外，为了支持各种任务的多样性，我们精心收集和整理了来自数百个公共视觉和视觉语言任务的训练数据。通过这种方式，我们的模型可以在数百个视觉语言任务上进行端到端联合训练，并使用一组共享参数通过不同的用户提示来推广到这些任务，实现与特定任务模型相当的性能。我们相信VisionLLM v2将为MLLM的泛化提供新的视角。

VisionLLM v2试图解决的问题是如何在一个框架内统一视觉感知、理解和生成，并扩大应用范围。作者提出了一种新的信息传输机制来连接MLLM和特定任务的解码器，以解决多任务训练中的冲突问题。

论文的关键思路是使用一种新的信息传输机制“超级链接”来连接MLLM和任务特定的解码器，从而实现在多种视觉语言任务上的联合训练，并通过共享参数在不同的用户提示下实现对这些任务的推广。

论文的亮点包括提出了一种新的信息传输机制“超级链接”来解决多任务训练中的冲突问题，通过联合训练在多种视觉语言任务上实现了性能可比的结果，并且使用了多个公共视觉和视觉语言数据集进行了实验。这篇论文的工作值得进一步深入研究。

在这个领域中，最近还有一些相关的研究，如UNITER、VL-BERT、ViLBERT等。