近年来，BERT 系列模型成了应用最广的预训练语言模型，随着模型性能的提升，其参数规模不断增大，推理速度也急剧提升，导致原始模型必须部署在高端的GPU 显卡上，甚至部分模型需要多块显卡才能正常运行。

在移动智能终端品类越发多样的时代，为了让预训练语言模型可以顺利部署在算力和存储空间都受限的移动终端，对预训练语言模型的压缩是必不可少的。本文将介绍针对BERT（以Transformer Block 堆叠而成的深度模型）的压缩方法。

感兴趣的可以继续戳原文。

内容中包含的图片若涉及版权问题，请及时与我们联系删除