Does Whisper understand Swiss German? An automatic, qualitative, and human evaluation

Whisper是一种先进的自动语音识别（ASR）模型（Radford等人，2022）。虽然瑞士德语方言据称不属于Whisper的训练数据，但初步实验表明Whisper可以很好地转录瑞士德语，输出为标准德语的语音翻译。为了更好地了解Whisper在瑞士德语上的表现，我们使用自动、定性和人工评估系统地对其进行了系统评估。我们在三个现有的测试集（SwissDial、STT4SG-350和Swiss Parliaments Corpus）上测试了其表现。此外，我们为此工作创建了一个基于短暂的模拟临床面谈的新测试集。 在自动评估中，我们使用了词错误率（WER）和BLEU。在定性分析中，我们讨论了Whisper的优点和缺点，并分析了一些输出示例。在人工评估中，我们进行了一项调查，共有28名参与者被要求评估Whisper的表现。 所有的评估都表明，只要需要标准德语的输出，Whisper就是一种可行的瑞士德语ASR系统。

研究Whisper在瑞士德语语音识别上的表现

使用自动、质量和人工评估系统，评估Whisper在瑞士德语语音识别上的性能

使用了多种评估方法，包括自动评估、质量分析和人工评估，结果表明Whisper在瑞士德语语音识别上表现良好

SwissDial (Dogan-Sch"onberger et al., 2021), STT4SG-350 (Pl"uss et al., 2023), Swiss Parliaments Corpus (Pl"uss et al., 2021)