An Empirical Study of Multimodal Model Merging

解决问题：本文旨在研究多模态模型合并的实证研究，探究不同模态之间的模型合并对于多任务学习和参数效率的影响。同时，本文也提出了一种新的目标，即通过模型合并创建参数效率高的模态无关架构。这是一个新问题。

关键思路：本文的关键思路是将不同模态的transformer模型进行合并，从而实现多模态学习和参数效率的提升。与现有研究相比，本文的思路在于将不同模态的transformer模型进行合并，实现了跨模态的学习和参数共享。

其他亮点：本文的实验设计充分，系统地研究了对模型性能影响的关键因素，如初始化、合并机制和模型架构等。本文代码已经开源，值得进一步深入研究。

关于作者：本文的主要作者来自多个机构，包括斯坦福大学、谷歌和北卡罗来纳大学教堂山分校等。其中，Mohit Bansal是自然语言处理领域的知名学者，曾在EMNLP、ACL等会议上发表多篇论文。Linjie Li曾在谷歌担任研究实习生，研究方向为深度学习和自然语言处理。

相关研究：近期其他相关的研究包括：

  1. "Multi-Task Learning Using Uncertainty to Weigh Losses for Scene Geometry and Semantics" by Xiaolong Wang et al. from UC Berkeley and Google Research.
  2. "Multi-Task Learning for Joint Language Understanding and Dialogue State Tracking" by Baolin Peng et al. from University of Science and Technology of China.
  3. "Multi-Task Learning for Speaker Diarization of Meetings" by Hervé Bredin et al. from LIMSI-CNRS.

论文摘要：本文探讨了多模态模型合并的实证研究。模型合并（例如通过插值或任务算术）将在不同任务上训练的多个模型融合在一起，以生成多任务解决方案。该技术在先前的研究中已被证明成功，其中模型在相似的任务和相同的初始化下训练。在本文中，我们将这个概念扩展到多模态设置，通过合并在不同模态上训练的transformer，进一步研究了一种新目标：可以合并视觉、语言和跨模态transformer，以创建一个参数高效的模态无关架构。通过全面的实验，我们系统地研究了影响模型合并后性能的关键因素，包括初始化、合并机制和模型架构。我们的分析得出了一种有效的训练方法，可以通过模型合并匹配模态无关基线（即从头开始预训练）的性能。我们的代码可在以下网址找到：https://github.com/ylsung/vl-merging。

内容中包含的图片若涉及版权问题，请及时与我们联系删除