OWLS: Scaling Laws for Multilingual Speech Recognition and Translation Models

神经缩放定律为设计稳健的序列处理架构提供了宝贵的见解。尽管这些定律在其他模态中已经得到了广泛的研究，但在语音中的行为仍然相对未被充分探索。在这项工作中，我们引入了OWLS，这是一套开放访问、可复现的多语言语音识别和翻译模型，参数规模从2.5亿到180亿不等，其中180亿参数版本是我们所知的最大语音模型。OWLS利用了多达36万小时的公开语音数据，涵盖150种语言，使我们能够系统地研究数据、模型和计算资源的缩放如何影响多语言语音任务的性能。我们使用OWLS来推导神经缩放定律，展示了在缩放时最终性能可以如何可靠预测。我们的一个关键发现是，缩放可以提升低资源语言/方言的性能，有助于减轻偏见并提高语音技术的可访问性。最后，我们展示了OWLS如何通过在大规模语音模型中发现新兴能力来推动新的研究方向。模型检查点将在https://huggingface.co/collections/espnet/owls-scaling-laws-for-speech-recognition-and-translation-67ab7f991c194065f057ce8d上发布，以供未来研究使用。

该论文试图探索神经缩放定律在语音处理任务中的行为，特别是多语言语音识别和翻译。这是一个相对未被充分研究的领域，旨在通过大规模模型来验证如何通过数据、模型和计算资源的扩展来提升性能，尤其是对于低资源语言。

论文的关键思路是通过构建OWLS——一个开放访问、可复现的多语言语音识别和翻译模型套件，涵盖从2.5亿到180亿参数的不同规模模型。相比于现有研究，这项工作不仅提供了对神经缩放定律在语音领域的首次系统性研究，还特别关注了低资源语言的表现提升，从而有助于减少偏见并提高语音技术的可访问性。

论文的重要亮点包括： - 使用高达36万小时的公共语音数据覆盖150种语言。 - 发现了随着模型规模增大，低资源语言的表现得到显著改善。 - 提出了新的研究方向，展示了大型语音模型中出现的能力。 - 所有模型检查点将在Hugging Face上公开发布，供未来研究使用。 这些工作为后续深入研究神经网络在不同语言上的表现差异及优化策略奠定了基础。

近期相关研究还包括： - 'Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer'，探讨了文本转换任务中的迁移学习极限。 - 'Scaling Laws for Neural Language Models'，分析了语言模型中的缩放规律。 - 'Multilingual Speech Recognition with a Single Multilingual Model'，研究了单一多语言模型在语音识别中的应用。 这些研究共同推动了对多模态、多语言任务的理解，而本论文则进一步将这一理解延伸到了语音处理领域。