Qwen2.5-VL Technical Report

我们推出了Qwen2.5-VL，这是Qwen视觉语言系列的最新旗舰模型，展示了其在基础能力和创新功能方面的显著进步。Qwen2.5-VL在增强的视觉识别、精确的目标定位、强大的文档解析和长视频理解方面取得了重大飞跃，从而更好地理解和与世界互动。Qwen2.5-VL的一个突出特点是能够使用边界框或点准确地定位物体。它可以从发票、表格和表格中提取稳健的结构化数据，并对图表、图示和布局进行详细分析。为了处理复杂输入，Qwen2.5-VL引入了动态分辨率处理和绝对时间编码，使其能够处理不同大小的图像和长达数小时的视频，并实现秒级事件定位。这使得该模型能够在不依赖传统归一化技术的情况下，原生感知空间尺度和时间动态。通过从头训练一个原生动态分辨率的视觉变换器（ViT）并结合窗口注意力机制，我们在保持原生分辨率的同时减少了计算开销。因此，Qwen2.5-VL不仅在静态图像和文档理解方面表现出色，还作为一个交互式视觉代理，在操作计算机和移动设备等现实场景中具备推理、工具使用和任务执行的能力。Qwen2.5-VL有三种尺寸可供选择，以满足从边缘AI到高性能计算的各种应用场景。旗舰版Qwen2.5-VL-72B模型在文档和图示理解方面可媲美最先进的模型如GPT-4o和Claude 3.5 Sonnet。此外，Qwen2.5-VL保持了强大的语言性能，保留了Qwen2.5大语言模型的核心语言能力。

论文试图解决视觉与语言模型在处理复杂多样的视觉输入（如长视频、结构化文档等）时的局限性，提高模型在真实世界场景中的应用能力。这是一个持续的研究热点，但Qwen2.5-VL特别关注了动态分辨率处理和长时间视频理解的问题。

关键思路在于通过引入动态分辨率处理和绝对时间编码来增强模型对不同尺度的空间和时间信息的理解。此外，通过训练一个原生动态分辨率的Vision Transformer (ViT)，结合Window Attention机制，减少了计算开销，同时保持了图像的原始分辨率。这种设计使得Qwen2.5-VL在处理静态图像、文档以及长视频方面表现出色。

论文的亮点包括：1) 提出了准确的对象定位方法，使用边界框或点；2) 强大的结构化数据提取能力，能够解析发票、表格和图表；3) 动态分辨率处理和绝对时间编码，支持处理长达数小时的视频；4) 开源代码和多种尺寸的模型版本，适用于不同的应用场景；5) 实验设计涵盖了多种任务，验证了模型在多个领域的优越性能。

最近的相关研究包括《Multimodal Pre-training with Unified Vision-Language Model》、《Long-Form Video Understanding with Temporal Transformers》和《Dynamic Resolution Networks for Efficient Visual Recognition》等。这些研究都在探索如何更好地融合视觉和语言信息，特别是在处理长时间视频和复杂结构化数据方面。