Continued Pretraining for Domain Adaptation of Wav2vec2.0 in Automatic Speech Recognition for Elementary Math Classroom Settings

创建能够适应课堂条件的自动语音识别（ASR）系统对于开发旨在帮助教师和学生的AI工具至关重要。在这项工作中，我们研究了持续预训练（CPT）在适应Wav2vec2.0到课堂领域方面的功效。我们表明，CPT是一个强大的工具，可以将基于Wav2vec2.0的模型的词错误率（WER）降低高达10％。更具体地说，CPT提高了模型对不同噪声、麦克风、课堂条件以及课堂人口统计学的鲁棒性。我们的CPT模型表现出了改进的能力，可以推广到标记的微调数据中未见的不同人口统计学。

论文旨在研究如何让自动语音识别系统对课堂环境更加鲁棒和稳健，以便开发能够帮助教师和学生的AI工具。

论文采用了继续预训练（CPT）的方法，以适应课堂领域，并将其应用于Wav2vec2.0模型中。结果表明，CPT是一种有效的工具，可以将Wav2vec2.0模型的词错误率（WER）降低10%以上，提高模型对不同噪声、麦克风、课堂条件和课堂人口统计学的鲁棒性。此外，CPT模型表现出更好的泛化能力，可以适应未在有标记的微调数据中看到的不同人口统计学。

论文的实验设计非常详细，使用了多个数据集，包括自己采集的课堂数据集。论文还开源了代码，方便其他研究人员进行复现和扩展。值得进一步研究的工作包括如何将CPT方法应用于其他语音识别模型中，以及如何进一步提高模型的鲁棒性和泛化能力。

最近在这个领域中的相关研究包括：1.《Robust Speech Recognition in Reverberant Classrooms Using Deep Learning》；2.《End-to-End Speech Recognition Models for Classroom Audio》；3.《Deep Learning for Automatic Speech Recognition in Classroom Scenarios: A Survey》等。