DeepSeek-VL2: Mixture-of-Experts Vision-Language Models for Advanced Multimodal Understanding

我们介绍了DeepSeek-VL2，这是一系列先进的大规模专家混合（MoE）视觉-语言模型，通过两项关键的重大升级显著改进了其前代产品DeepSeek-VL。在视觉组件方面，我们采用了一种动态切片视觉编码策略，专为处理不同长宽比的高分辨率图像设计。在语言组件方面，我们利用了带有多头潜在注意力机制的DeepSeekMoE模型，该机制将键值缓存压缩成潜在向量，从而实现高效的推理和高吞吐量。经过改进的视觉-语言数据集训练后，DeepSeek-VL2在各种任务中表现出卓越的能力，包括但不限于视觉问答、光学字符识别、文档/表格/图表理解以及视觉定位。我们的模型系列包含三个变体：DeepSeek-VL2-Tiny、DeepSeek-VL2-Small和DeepSeek-VL2，分别具有10亿、28亿和45亿个激活参数。与现有的开源密集型和基于MoE的模型相比，DeepSeek-VL2在相同或更少的激活参数下实现了竞争性或最先进的性能。代码和预训练模型可在https://github.com/deepseek-ai/DeepSeek-VL2公开获取。

论文试图通过提出DeepSeek-VL2模型来解决现有视觉-语言模型在处理高分辨率图像和不同方面比率图像时的性能瓶颈问题，同时提高模型在多种任务上的效率和效果。这是一个在视觉-语言模型领域中的持续性问题，但DeepSeek-VL2尝试通过新的技术手段来优化。

关键思路在于两个主要升级：一是引入动态平铺视觉编码策略，以有效处理高分辨率和不同比例的图像；二是采用带有Multi-head Latent Attention机制的DeepSeekMoE模型，通过压缩Key-Value缓存为潜在向量，实现高效的推理和高吞吐量。这种结合方式在视觉-语言模型中具有创新性。

论文展示了DeepSeek-VL2在多个任务上的优越性能，包括视觉问答、光学字符识别、文档/表格/图表理解及视觉定位等。此外，该模型提供了三种不同大小的变体，以适应不同的应用场景。实验使用了改进的视觉-语言数据集，并且代码和预训练模型已公开，便于复现和进一步研究。未来可以探索更多复杂任务的应用，如视频理解等。

近期在这个领域中，其他相关研究包括：1)《M6: A Large-Scale Pre-trained Model for Multimodal Understanding and Generation》提出了一个大规模多模态预训练模型；2)《FLAVA: A Foundational Model for Multimodal Learning》介绍了FLAVA模型，旨在解决跨模态任务；3)《PaLI: A Path-Level Image-Text Pretraining Framework》提出了一种路径级别的图像-文本预训练框架。这些研究都致力于提升多模态模型的性能和应用范围。