Step-Audio 2 Technical Report

本文介绍了Step-Audio 2，这是一款端到端的多模态大语言模型，专为工业级的音频理解和语音对话而设计。通过整合一种隐式音频编码器和以推理为中心的强化学习（RL），Step-Audio 2在自动语音识别（ASR）和音频理解方面表现出色。为了实现真正端到端的语音对话，Step-Audio 2将离散音频令牌的生成融入语言建模中，显著增强了其对副语言信息（如说话风格和情绪）的响应能力。为更有效地利用现实数据中丰富的文本和声学知识，Step-Audio 2集成了基于检索增强生成（RAG）的技术，并能够调用外部工具，例如通过网络搜索来减少幻觉，或通过音频搜索来切换音色。Step-Audio 2在数百万小时语音和音频数据的基础上进行训练，能够在各种对话场景中展现出智能性和表达力。评估结果显示，与其他开源和商业方案相比，Step-Audio 2在多项音频理解和对话基准测试中达到了最先进的性能。更多详情请访问 https://github.com/stepfun-ai/Step-Audio2。

论文旨在解决真实工业场景中音频理解和语音对话的高质量需求问题，尤其是在自动语音识别（ASR）、音频理解、以及融合语言与音频模态的交互式对话系统方面。这是一个持续受到关注的问题，但实现真正端到端、兼具语言与音频生成能力的多模态大模型仍具挑战性。

Step-Audio 2 的核心思路是通过一个端到端的多模态大语言模型，结合潜变量音频编码器与以推理为中心的强化学习（RL），实现对语音内容与副语言信息（如风格、情感）的联合建模。同时，通过将离散音频token生成融入语言模型，并引入检索增强生成（RAG）和外部工具调用能力，提升了模型的表达力和准确性。

1. 提出了一种将音频token生成与语言建模统一的端到端架构，显著增强对话系统对语调、情感等副语言信息的响应能力 2. 采用RAG机制和外部工具（如web search、audio search）来缓解幻觉问题并实现音色切换 3. 基于数百万小时语音与音频数据训练，具有广泛的工业场景适应性 4. 在多个音频理解和对话基准测试中达到SOTA性能，优于开源与商业模型 5. 代码已开源（https://github.com/stepfun-ai/Step-Audio2），具备可复现性与可扩展性

1. AudioLlama: Large-Scale Self-Supervised Pretraining for Audio-Language Understanding (2023) 2. SpeechGPT: Autoregressive Generation of Spoken Language from Text-Only Data (2023) 3. EmoGPT: Emotion-aware Generative Pre-trained Transformer for Spoken Language Understanding (2024) 4. VALL-E 2: End-to-End Neural Audio Codec for High-Fidelity Speech Synthesis (2024) 5. Whisper++: Towards a Unified Framework for Multimodal Conversational AI (2024)