Does Whisper understand Swiss German? An automatic, qualitative, and human evaluation

Whisper是一种先进的自动语音识别（ASR）模型（Radford等，2022）。虽然瑞士德语方言据称不是Whisper的训练数据的一部分，但初步实验表明Whisper可以很好地转录瑞士德语，并输出标准德语的语音翻译。为了更好地了解Whisper在瑞士德语上的表现，我们使用自动、定性和人工评估系统地进行了系统评估。我们在三个现有的测试集上测试了它的性能：SwissDial（Dogan-Sch\"onberger等，2021）、STT4SG-350（Pl\"uss等，2023）和Swiss Parliaments Corpus（Pl\"uss等，2021）。此外，我们还为此项工作创建了一个基于短小的模拟临床访谈的新测试集。 在自动评估中，我们使用了词错误率（WER）和BLEU。在定性分析中，我们讨论了Whisper的优点和缺点，并分析了一些输出示例。在人工评估中，我们进行了一项调查，共有28名参与者被要求评估Whisper的表现。 我们所有的评估都表明，只要需要标准德语输出，Whisper就是一种可行的瑞士德语ASR系统。

评估Whisper在瑞士德语语音识别中的表现，特别是在转录为标准德语的情况下。

使用自动、定性和人类评估方法对Whisper在瑞士德语的表现进行了系统评估，并且发现Whisper在转录为标准德语的情况下表现良好。

论文使用了四个测试集进行评估，并且对Whisper的输出进行了定性分析。在人类评估中，28名参与者对Whisper的表现进行了评估。研究表明，Whisper在转录为标准德语的情况下是可行的。

最近的相关研究包括使用深度学习模型进行语音识别，以及针对特定方言的语音识别研究。