【论文标题】Robust wav2vec 2.0: Analyzing Domain Shift in Self-Supervised Pre-Training 【作者团队】Wei-Ning Hsu, Anuroop Sriram, Alexei Baevski et al. 【发表时间】2021/04/05 【机构】Facebook 【论文链接】https://arxiv.org/abs/2103.13047v 【代码链接】https://github.com/pytorch/fairseq 【推荐理由】系统性比较domain shift

语音表征的自监督学习一直是一个非常活跃的研究领域，但大多数工作都集中在存在大量的标签和非标签数据的某一个单一的领域，如阅读有声读物。本文探索了更普遍的情况，预训练数据的非标签数据的域与微调的标签数据的域不同，而标记数据的域又可能与测试数据域不同。我们的实验表明，在预训练过程中使用目标域数据会在各种情况中带来很大的性能提升。在一个大规模的竞争性场景中，本文表明在未标记的域内数据上进行预训练可以将在域内和域外标记数据上训练的模型之间的差距缩小66%-73%。这具有明显的实际意义，因为获得无标签的目标域数据比获得有标签的数据要容易得多。此外作者发现，在多个域上进行预训练可以提高模型对未见过的域的泛化性能。

本文讨论还得到了以下结论： 1. 在预训练阶段增加域内数据有助与模型效果提升 2. 增加预训练数据是否有助于对于域外数据的预测分为2种情况，若预训练数据不包括域内数据，则有助提升模型效果，若包括则情况不定。 3. 在预训练阶段对不同类数据训练有助于提升模型鲁棒性 4. 持续增加标签数据依旧有效提升模型效果和鲁棒性 5. 使用与目标域相似的数据进行预训练有助于提升模型性能 6. 增加域内预训练数据量可持续提升模型效果 7. 更大模型，更多预训练/微调数据有助提升模型效果

内容中包含的图片若涉及版权问题，请及时与我们联系删除