Seed1.5-VL Technical Report

我们推出了Seed1.5-VL，这是一款旨在推动通用多模态理解和推理的视觉-语言基础模型。Seed1.5-VL由一个包含5.32亿参数的视觉编码器和一个具有200亿活跃参数的专家混合（MoE）大语言模型组成。尽管其架构相对紧凑，但该模型在广泛的公开视觉语言模型（VLM）基准测试和内部评估套件中表现出色，在60个公开基准中的38个上达到了业界领先的性能。此外，在以代理为中心的任务中，例如图形用户界面（GUI）控制和游戏玩法，Seed1.5-VL的表现优于包括OpenAI的CUA和Claude 3.7在内的领先多模态系统。除了视觉和视频理解能力外，Seed1.5-VL还展现出强大的推理能力，尤其在处理视觉谜题等多模态推理挑战时表现尤为突出。我们相信这些能力将为各种任务提供更广泛的应用可能性。在本报告中，我们主要回顾了构建Seed1.5-VL过程中在模型设计、数据构建和不同阶段训练方面的经验，希望这份报告能够激发更多的研究灵感。目前，Seed1.5-VL已可通过以下链接访问：https://www.volcengine.com/（火山引擎模型ID：doubao-1-5-thinking-vision-pro-250428）。

该论文试图解决多模态模型在视觉和语言任务中的通用性和推理能力问题，特别是在视觉理解、视频分析和跨模态推理方面的性能提升。这是一个持续研究的问题，但Seed1.5-VL试图通过更高效的架构设计和大规模训练数据来实现更高的性能。

Seed1.5-VL的核心思路是结合一个532M参数的视觉编码器和一个20B活动参数的专家混合（MoE）语言模型，以实现高效且强大的多模态处理能力。相比传统的单一大规模模型，这种设计降低了计算资源需求，同时保持了高性能。此外，模型在多个公开基准测试中表现出色，并在特定任务（如GUI控制和游戏玩法）中超越了现有领先系统。

实验设计涵盖了广泛的公共基准测试和内部评估套件，显示了Seed1.5-VL在38个公开基准测试中的最先进性能。模型在视觉谜题等复杂推理任务上也表现出色。论文提供了详细的构建过程，包括模型设计、数据集构建和训练阶段的经验分享。代码和模型已在Volcano Engine平台上开源，便于进一步研究和应用开发。

近期相关研究包括OpenAI的CUA系列模型、Anthropic的Claude系列以及Google的PaLM-E和Flamingo。这些模型同样关注多模态理解和推理，但Seed1.5-VL通过使用MoE架构和优化的视觉编码器提供了一种新的解决方案。其他值得关注的研究还包括Meta的SAM（Segment Anything Model）和阿里巴巴的通义千问系列，它们也在多模态任务中展现了卓越的能力。