Qwen3 Technical Report

在这项工作中，我们推出了通义千问3（Qwen3），这是通义千问模型家族的最新版本。 Qwen3 包含一系列大型语言模型（LLMs），旨在提升性能、效率以及多语言能力。 Qwen3 系列涵盖了密集型架构和专家混合（MoE）架构的模型，参数规模从 6 亿到 2350 亿不等。 Qwen3 的一项关键创新是将思考模式（用于复杂、多步骤推理）和非思考模式（用于快速、上下文驱动的响应）整合到一个统一框架中。 这消除了在不同模型之间切换的需求，例如优化用于对话的模型（如 GPT-4o）和专门用于推理的模型（如 QwQ-32B），并能够根据用户查询或对话模板动态切换模式。 同时，Qwen3 引入了“思考预算”机制，允许用户在推理过程中自适应地分配计算资源，从而根据任务复杂度平衡延迟和性能。 此外，通过利用旗舰模型的知识，我们在构建较小规模模型时大幅减少了所需的计算资源，同时确保其具备高度竞争力的性能。 实证评估表明，Qwen3 在包括代码生成、数学推理、代理任务等多种基准测试中取得了最先进的结果，表现与更大规模的 MoE 模型和专有模型相当。 与前代产品 Qwen2.5 相比，Qwen3 将多语言支持从 29 种扩展到 119 种语言和方言，通过改进跨语言理解和生成能力提升了全球可用性。 为了促进可重复性和社区驱动的研究与开发，所有 Qwen3 模型均在 Apache 2.0 许可下公开提供。

该论文试图通过Qwen3模型解决多语言处理、高效推理与快速响应之间的平衡问题，并验证在单一框架内实现复杂推理和快速生成的能力。这是一个持续优化的问题，但Qwen3通过引入思考模式和非思考模式的动态切换机制，提供了一种新的解决方案。

Qwen3的关键思路是将复杂的多步推理（思考模式）和快速上下文驱动响应（非思考模式）集成到一个统一框架中，同时引入了‘思考预算’机制以适应性地分配计算资源。相比当前研究状况，这种动态模式切换和资源分配机制减少了对多个专门模型的需求，提升了模型的灵活性和效率。

Qwen3支持119种语言和方言，显著扩展了其全球适用性；通过知识蒸馏技术，大幅降低了小规模模型的计算需求，同时保持高性能；实验涵盖了代码生成、数学推理和代理任务等多个领域，并在这些任务上表现出色。此外，所有Qwen3模型均以Apache 2.0许可证公开发布，促进了社区研究和应用开发。

最近的相关研究包括Google的Gemini系列模型，其探索了多模态处理能力；Meta的Llama系列模型，重点在于开源和多语言支持；以及Anthropic的Claude系列模型，强调安全性和可控性。其他相关工作还包括Microsoft的Phantom系列模型，专注于推理效率提升。