EVLM: An Efficient Vision-Language Model for Visual Understanding

在多模态语言模型领域中，大多数方法都基于类似于LLaVA的架构构建。这些模型使用单层ViT特征作为视觉提示，直接将其与文本令牌一起馈送到语言模型中。然而，当处理长序列的视觉信号或输入，如视频时，语言模型的自注意机制可能会导致显著的计算开销。此外，使用单层ViT特征使得大型语言模型难以充分感知视觉信号。本文提出了一种高效的多模态语言模型，以最小化计算成本，同时使模型尽可能全面地感知视觉信号。我们的方法主要包括：（1）采用类似于Flamingo的交叉注意力来进行图像-文本交互；（2）利用分层ViT特征；（3）引入专家混合（MoE）机制以增强模型的效果。我们的模型在公共多模态基准测试中取得了竞争性的分数，并在图像字幕和视频字幕等任务中表现良好。

本文旨在提出一种高效的多模态语言模型，以最小化计算成本，同时使模型能够尽可能全面地感知视觉信号。

本文的关键思路包括：（1）采用类似Flamingo的图像-文本交互交叉注意力机制；（2）利用分层ViT特征；（3）引入Mixture of Experts（MoE）机制以提高模型效果。

本文的模型在公共多模态基准测试中取得了竞争性的分数，并在图像字幕和视频字幕等任务中表现良好。实验使用了哪些数据集和开源代码，需要进一步了解。

在多模态语言模型领域，大多数方法都建立在类似LLaVA的架构上。最近的相关研究包括：VisualBERT、UNITER、VL-BERT等。