RelationVLM: Making Large Vision-Language Models Understand Visual Relations

本文介绍了大型视觉语言模型（LVLMs）的发展，它正在努力赶上大型语言模型（LLMs）的成功，但仍面临更多需要解决的挑战。最近的研究使得LVLMs能够定位对象级别的视觉内容并将文本与其联系起来。然而，由于缺乏相关数据，当前的LVLMs仍然难以精确理解视觉关系。在本研究中，我们提出了RelationVLM，这是一个大型视觉语言模型，能够理解各种级别和类型的关系，无论是跨多个图像还是在视频内部。具体而言，我们设计了一个多阶段关系感知训练方案和一系列相应的数据配置策略，赋予RelationVLM理解语义关系、时间关联和几何变换的能力。广泛的案例研究和定量评估表明，RelationVLM在理解这些关系方面具有强大的能力，并且通过比较在上下文中推理少量示例的能力令人印象深刻。本研究通过使LVLMs能够支持更广泛的下游应用，促进了LVLMs的进步，以实现人工智能的广泛应用。

本论文旨在解决大型视觉语言模型（LVLMs）在理解视觉关系方面存在的挑战，提出了一种名为RelationVLM的模型，旨在理解各种级别和类型的关系，包括跨多个图像或视频内的语义关系、时间关联和几何变换。

论文提出了一种多阶段关系感知训练方案和一系列相应的数据配置策略，使RelationVLM具备理解语义关系、时间关联和几何变换的能力。

论文进行了广泛的案例研究和定量评估，证明RelationVLM在理解各种关系方面具有强大的能力，并且在从少量示例中推理的情境能力方面表现出色。此外，论文还开源了代码。

最近的相关研究包括：《Visual Relationship Detection with Language Priors》、《Unicoder-VL: A Universal Encoder for Vision and Language by Cross-modal Pre-training》等。