Meta发布支持1100种语言的文本转语音系统

我们预处理了数据，以提高质量，并使其可用于我们的机器学习算法。为此，我们在100多种语言的现有数据上训练了一个对齐模型，并将该模型与高效的强制对齐算法一起使用，该算法可以处理大约20分钟或更长时间的记录。我们应用了此过程的多轮，并根据模型准确性执行了最终的交叉验证过滤步骤，以删除可能错位的数据。为了使其他研究人员能够创建新的语音数据集，我们将对齐算法添加到PyTorch中，并发布了对齐模型。

每门语言32小时的数据不足以训练传统的监督语音识别模型。这就是为什么我们建立在wav2vec 2.0上，这是我们之前在自我监督语音表示学习方面的工作，这大大减少了训练良好系统所需的标记数据量。具体来说，我们用1400多种语言的大约50万小时的语音数据训练了自我监督模型——这几乎是之前任何已知工作语言的五倍。然后对生成的模型进行微调，以适应特定的语音任务，例如多语言语音识别或语言识别。

结果

为了更好地了解在大规模多语言语音数据上训练的模型表现如何，我们在现有的基准数据集（如FLEURS）上对其进行了评估。

我们使用1B参数wav2vec 2.0模型在1100多种语言上训练了多语言语音识别模型。随着语言数量的增加，性能确实下降了，但只是非常轻微：从61种语言移动到1107种语言，字符错误率仅增加了约0.4%，但语言覆盖率增加了18倍以上。

当每个系统支持的语言数量从61种增加到1107种时，经过大规模多语言语音数据训练的多语言语音识别系统的61种FLEURS语言的错误率。更高的错误率表示性能较低。