Speech-Copilot: Leveraging Large Language Models for Speech Processing via Task Decomposition, Modularization, and Program Generation

在这项工作中，我们介绍了Speech-Copilot，这是一个模块化框架，用于指令导向的语音处理任务，最大程度地减少了构建工具集时的人力成本。与使用大型音频语言模型的端到端方法不同，Speech-Copilot通过分析预先收集的任务指令并将任务分解为可管理的子任务来构建语音处理特定的工具集。它具有一个基于大型语言模型的灵活代理，通过程序生成执行任务。我们的方法在Dynamic-SUPERB基准测试中实现了最先进的性能，证明了它在各种语音处理任务中的有效性。主要贡献包括：1）开发用于语音处理特定工具集构建的创新框架，2）建立基于大型语言模型的高性能代理，以及3）提供解决具有挑战性的指令导向语音处理任务的新视角。我们的方法不需要端到端方法所需的额外训练过程，为广泛的语音处理应用提供了灵活和可扩展的解决方案。

论文旨在解决instruction-oriented speech-processing任务中的工具集构建问题，提出了Speech-Copilot框架，该框架通过分析预先收集的任务指令并将任务分解为可管理的子任务来构建语音处理特定的工具集。

Speech-Copilot框架采用基于大型语言模型的灵活代理程序，通过程序生成执行任务，而不需要端到端方法使用大型音频-语言模型进行训练，从而提供了一种灵活且可扩展的解决方案。

论文的亮点包括：1）开发了一种创新的语音处理特定工具集构建框架；2）建立了一个基于大型语言模型的高性能代理程序；3）提供了解决具有挑战性的instruction-oriented speech-processing任务的新视角。论文在Dynamic-SUPERB基准测试中取得了最先进的性能，证明了其在不同语音处理任务中的有效性。

与此相关的最近研究包括使用深度学习技术进行端到端语音识别和语音合成的研究，如Google的WaveNet和DeepMind的AlphaGo Zero。