【论文标题】BERT-of-Theseus: Compressing BERT by Progressive Module Replacing 【作者团队】Canwen Xu, Wangchunshu Zhou, Tao Ge, Furu Wei and Ming Zhou 【发表时间】EMNLP 2020 【论文链接】https://www.aclweb.org/anthology/2020.emnlp-main.633.pdf 【公开代码】 https: //github.com/JetRunner/BERT-of-Theseus 【推荐理由】传统的模型压缩方法都是采用蒸馏技术，本文提出了一种新的区别于蒸馏的压缩Bert的方法，并取得了很好的效果。 本文提出了一种新的模型压缩方法，通过逐次模替换来有效地压缩BERT。文中的方法首先将原始的BERT分解成几个模块，然后构造它们的紧致子结构。然后，随机地用它们的替代物替换原来的模块，训练紧凑的模块来模仿原始模块的行为。通过训练，文中逐渐提高了替换的可能性。通过这种方式，文中的方法在原始模型和紧凑模型之间带来了更深层次的交互。与已有的用于BERT压缩的知识提取方法相比，文中的方法不引入任何额外的损失函数。文中的方法在GLUE benchmark上优于现有的知识提取方法，展示了模型压缩的新视角

内容中包含的图片若涉及版权问题，请及时与我们联系删除