A Large-Scale Evaluation of Speech Foundation Models

这种基础模型范式利用共享的基础模型，在各种任务中实现最先进的性能，需要最少的下游特定建模和数据注释。这种方法在自然语言处理（NLP）领域已被证明至关重要。然而，语音处理社区缺乏一个类似的设置来系统地探索这种范式。在这项工作中，我们建立了语音处理通用性能基准（SUPERB），以研究这种范式在语音领域的有效性。我们提出了一个统一的多任务框架，使用一个冻结的基础模型，后面跟着任务专用的、轻量级的预测头，来处理SUPERB中的语音处理任务。将我们的结果与社区提交的结果结合起来，我们验证了基础模型范式在语音领域是有前途的，我们的多任务框架简单而有效，因为最佳性能的基础模型在大多数SUPERB任务中表现出有竞争力的泛化能力。为了可重复性和可扩展性，我们开发了一个长期维护的平台，可以进行确定性基准测试，通过在线排行榜分享结果，并通过社区驱动的基准数据库促进协作，支持新的开发周期。最后，我们进行了一系列分析，以深入了解SUPERB和语音基础模型，包括模型内任务之间的信息流、加权求和基准测试协议的正确性以及基准测试的统计显著性和稳健性。

本论文旨在建立一个基于共享基础模型的语音处理通用性能基准（SUPERB），以系统地研究该范式在语音处理中的有效性。

通过使用一个冻结的基础模型，加上针对不同任务的轻量级预测头，提出了一个统一的多任务框架来解决SUPERB中的语音处理任务，验证了基础模型范式在语音处理中的潜力。

论文提供了一个长期维护的平台，支持确定性基准测试、在线排行榜和社区驱动的基准数据库，以支持新的开发周期。此外，论文还进行了一系列分析，深入了解了SUPERB和语音基础模型，包括模型内任务之间的信息流、加权和基准测试协议的正确性以及基准测试的统计显著性和鲁棒性。

在这个领域中，最近的相关研究包括：1）使用共享模型的多任务学习方法；2）使用预训练的语言模型来改善语音识别性能；3）使用迁移学习来解决语音识别任务。