E5-V: Universal Embeddings with Multimodal Large Language Models

多模态大型语言模型（MLLMs）在通用视觉和语言理解方面取得了有前途的进展。然而，使用MLLMs表示多模态信息仍然是一个未被充分探索的领域。在本文中，我们介绍了一个新的框架E5-V，旨在适应MLLMs以实现通用的多模态嵌入。我们的研究结果强调了MLLMs在表示多模态输入方面相比以前的方法具有显著的潜力。通过利用MLLMs和提示，E5-V有效地弥合了不同类型输入之间的模态差距，在多模态嵌入方面表现出强大的性能，即使没有进行微调也能取得良好的表现。我们为E5-V提出了一种单模态训练方法，其中模型仅在文本对上进行训练。这种方法相比于传统的基于图像-文本对的多模态训练方法，不仅在降低训练成本方面取得了显著的改进，同时还消除了昂贵的多模态训练数据收集的需求。在四种类型的任务中进行的大量实验表明了E5-V的有效性。作为一种通用的多模态模型，E5-V不仅在每个任务中实现了最先进的性能，而且通常超越了最先进的性能，尽管它只是在单模态上进行训练。

如何利用多模态大型语言模型（MLLMs）来实现通用的多模态嵌入表示？

提出了一种新的框架E5-V，利用MLLMs和prompt技术实现了通用的多模态嵌入表示，同时采用单模态训练方法，避免了昂贵的多模态数据收集和训练成本。

实验结果表明，E5-V在四种任务中均取得了优异的性能，甚至超过了当前领域的最新成果。同时，E5-V的单模态训练方法不仅节省了训练成本，还能避免多模态数据不平衡的问题。

最近的相关研究包括VisualBERT、ViLBERT、LXMERT等多模态大型语言模型。