Step-Audio-R1 Technical Report

近年来，推理模型在文本和视觉领域取得了显著进展，这得益于扩展的思维链式推理能力。然而，在音频语言模型中却存在一个令人困惑的现象：这些模型在极少或没有推理过程的情况下表现反而更好，这就引发了一个根本性问题——音频智能是否真的能从有意识的思考中获益？我们推出了Step-Audio-R1，这是首个成功在音频领域释放推理能力的音频推理模型。通过我们提出的模态锚定推理蒸馏（MGRD）框架，Step-Audio-R1能够生成与音频内容相关的推理链条，这些推理真正建立在声学特征的基础之上，而非脱离实际、产生虚构的推论。我们的模型展现出强大的音频推理能力，在涵盖语音、环境声音和音乐等多个方面的综合性音频理解与推理基准测试中，性能超越Gemini 2.5 Pro，并达到与最先进的Gemini 3 Pro相媲美的水平。这些结果表明，当推理过程得到恰当的模态锚定时，推理能力可以在不同模态之间迁移，从而将长链条的深入思考从一种负担转变为音频智能的强大助力。Step-Audio-R1作为首个成功的音频推理模型，为构建能够深度跨越所有感知模态进行思考的真正多模态推理系统开辟了全新的路径。

论文试图解决音频语言模型在推理能力上的显著落后问题，即尽管文本和视觉模型已通过链式思维（chain-of-thought）推理取得显著进展，但音频模型却表现出‘过度推理反而性能下降’的现象。这引发了一个根本性问题：音频智能是否能从有意识的推理中受益？该问题此前尚未被有效探索，具有新颖性。

提出首个面向音频的推理模型 Step-Audio-R1，并设计了模态锚定推理蒸馏框架（Modality-Grounded Reasoning Distillation, MGRD），使模型生成的推理链真正基于音频特征而非脱离实际的幻觉推理。关键创新在于将推理过程与原始音频信号进行显式对齐，确保思考过程扎根于听觉感知，从而将长链推理从负担转化为优势。

Step-Audio-R1 在语音、环境声和音乐等多类音频理解与推理任务上超越 Gemini 2.5 Pro，性能媲美最先进的 Gemini 3 Pro；实验涵盖多个权威音频基准，验证了跨模态推理能力的可迁移性；MGRD 框架为音频推理提供了可解释且可靠的训练范式；工作首次证明音频领域也能从深度推理中获益，为构建真正的多感官联合推理系统铺平道路；代码与模型有望开源（文中未明确，但符合当前趋势），值得进一步拓展至视听融合推理与低资源音频推理方向。

1. “Chain-of-Thought Prompting Elicits Reasoning in Large Language Models” (Wei et al., NeurIPS 2022) 2. “PaLM: Scaling Language Modeling with Pathways” (Chowdhery et al., 2022) 3. “Flamingo: a Visual Language Model for Few-Shot Learning” (Alayrac et al., NeurIPS 2022) 4. “Gemini: A Family of Highly Capable Multimodal Models” (Google DeepMind, 2023–2024) 5. “AudioPaLM: Speech Understanding with a Text-Only Language Model” (Google, 2023) 6. “Towards Multimodal Multitask Reasoning via In-Context Learning” (Recent work at NeurIPS/ICLR 2024)