The Effect of Batch Size on Contrastive Self-Supervised Speech Representation Learning

在语音基础模型的训练中，通常使用多个GPU进行训练，这隐含地导致了大的有效批处理大小。本文研究了批处理大小对预训练的影响，包括在训练期间可以监测到的统计数据以及对下游微调任务性能的影响。通过使用从87.5秒到80分钟的语音批处理大小，我们表明，对于固定数量的迭代，更大的批处理大小会产生更好的预训练模型。然而，稳定性有一个下限，有效性有一个上限。然后，我们表明预训练模型的质量主要取决于训练期间看到的语音数据量，即批处理大小和迭代次数的乘积。所有结果都是使用wav2vec 2.0架构的独立实现产生的，这在很大程度上重现了原始工作的结果（arXiv:2006.11477）。我们的扩展可以帮助研究人员选择有效的操作条件来研究语音的自监督学习，并提示使用固定数量的已看到数据来进行自监督学习的基准测试。代码和模型检查点可在https://github.com/nikvaessen/w2v2-batch-size上获得。

论文探讨了基于语音的预训练模型中批量大小对于预训练效果的影响，并验证了批量大小与迭代次数的乘积对预训练模型的质量有着决定性的影响。

论文发现，在固定迭代次数的情况下，较大的批量大小会导致更好的预训练模型效果，但是批量大小也有其稳定性的下限和有效性的上限。同时，预训练模型的质量主要取决于训练过程中所使用的语音数据量，即批量大小和迭代次数的乘积。

论文使用了独立实现的wav2vec 2.0架构，并提供了开源代码和模型检查点。实验使用了批量大小从87.5秒到80分钟的语音数据，并展示了批量大小与迭代次数的乘积对于预训练模型的质量的决定性影响。论文对于研究自监督学习在语音领域中的有效操作条件和基准测试具有参考价值。

相关研究包括原论文（arXiv:2006.11477）和近期的自监督学习在语音领域中的相关研究，如《Self-Supervised Learning of Pretext-Invariant Representations from Speech》。