Step-Audio 2 Technical Report

本文介绍了Step-Audio 2，这是一款端到端的多模态大语言模型，专为工业级音频理解和语音对话而设计。通过融合潜在音频编码器和以推理为中心的强化学习（RL），Step-Audio 2 在自动语音识别（ASR）和音频理解方面表现出色。为了实现真正端到端的语音对话，Step-Audio 2 将离散音频令牌的生成融入语言建模中，从而显著增强了其对副语言信息（如说话风格和情绪）的响应能力。为了有效利用现实数据中丰富的文本和声学知识，Step-Audio 2 集成了检索增强生成（RAG），并能够调用外部工具，例如网络搜索以减少幻觉，以及音频搜索以切换音色。Step-Audio 2 在数百万小时语音和音频数据上进行训练，使其在各种对话场景中都展现出智能性与表达力。评估结果显示，与其他开源和商业解决方案相比，Step-Audio 2 在各类音频理解和对话基准测试中均达到了最先进的性能。更多信息请访问 https://github.com/stepfun-ai/Step-Audio2。

论文旨在解决工业级音频理解和语音对话系统中存在的挑战，包括对语音内容的精准识别、对副语言信息（如情绪和语调）的理解、以及在真实对话场景中的表达能力和智能化水平。这是一个在语音人工智能领域长期存在的核心问题，但随着多模态建模和生成式AI的发展，提出了更高的要求。

Step-Audio 2 的核心思路是构建一个端到端的多模态大语言模型，融合音频编码器、推理驱动的强化学习（RL）、离散音频token生成、以及检索增强生成（RAG）技术。其创新之处在于将语言模型与音频生成结合，实现对语音风格和情绪的响应能力，并通过RAG和外部工具调用提升真实性和可控性。

1. 引入离散音频token生成机制，提升模型对副语言信息的响应能力 2. 采用强化学习优化推理能力，提升对话连贯性和智能性 3. 整合RAG和外部工具调用（如网页搜索、音频搜索），增强模型的泛化和可控性 4. 基于数百万小时真实语音数据训练，覆盖广泛对话场景 5. 在多个音频理解和对话基准上达到SOTA性能 6. 代码开源，项目地址为：https://github.com/stepfun-ai/Step-Audio2

1. Whisper (OpenAI): Robust speech-to-text with strong zero-shot capabilities 2. AudioLM (Google): Generating speech and music without text 3. Qwen-Audio (Alibaba): Large-scale audio-language model for multi-task understanding 4. Emo (Microsoft): Expressive and emotional speech generation 5. Voicebox (Meta): Fast voice adaptation and speech generation 6. VALL-E (Microsoft): Text-to-speech model that preserves speaker identity