MammothModa: Multi-Modal Large Language Model

在本报告中，我们介绍了MammothModa，这是另一个多模态大型语言模型（MLLM），旨在从基本基线开始实现最先进的性能。我们关注三个关键设计洞见：（i）在保持复杂语言理解的同时整合视觉能力：除了视觉编码器外，我们还将视觉注意力专家纳入LLM以增强其视觉能力。 （ii）扩展上下文窗口以获取高分辨率和长时间的视觉特征：我们探索了Visual Merger模块，以有效地减少高分辨率图像的标记数，并纳入帧位置ID以避免位置插值。 （iii）高质量的双语数据集：我们精心策划并过滤了高质量的双语多模态数据集，以减少视觉幻觉。使用以上配方，我们构建了MammothModa，它在主要的现实世界视觉语言基准测试中始终优于最先进的模型，例如LLaVA系列，没有花哨的东西。

本论文旨在设计一种新的多模态大型语言模型（MLLM）MammothModa，以解决视觉和语言理解之间的复杂关系，同时提高性能。

论文提出了三种关键设计思路：（i）在保持复杂语言理解的同时，将视觉能力整合到模型中；（ii）扩展上下文窗口以实现高分辨率和长时间的视觉特征；（iii）使用高质量的双语数据集来减少视觉幻觉。

论文使用了高质量的双语数据集，并提出了新的模型结构和模型组件，如视觉融合模块和视觉注意力专家。实验结果表明，MammothModa在主要实际视觉语言基准测试中表现出色，且不需要额外的优化。

在最近的相关研究中，LLaVA系列是一种常见的多模态语言模型。