论文链接：https://arxiv.org/pdf/2004.14448.pdf 题目：What Happens To BERT Embeddings During Fine-tuning? 作者：Amil等（谷歌研究院） 发表时间：2020/04 本文出自Google研究院，最近有很多研究专注于“语言信息如何被编码到预训练句子表征中”，但相对而言，很少有人了解这些模型在下游任务的微调过程中发生何等变化。本文作者使用一套完善的分析技术(探测分类器、表征相似度分析和模型消融实验)来研究微调如何影响BERT的表示学习。并发现，虽然微调必然会产生一些参数的显著变化，但并不会导致语言知识的灾难性遗忘。 微调主要影响BERT的顶层，不过在不同的任务中有显著的差异，比如依赖解析任务重新构造了大部分模型，而SQuAD和MNLI似乎也涉及到更浅的处理。最后，还发现微调对领域外句子表示的影响较弱，这表明模型泛化还有改进的空间。

内容中包含的图片若涉及版权问题，请及时与我们联系删除