题目： DeeBERT: Dynamic Early Exiting for Accelerating BERT Inference

本文发表在ACL2020上，致力于BERT模型加速。BERT等大规模预训练模型给NLP任务带来了大幅提升，但耗时的推断过程让模型难以在实时应用上部署。借鉴计算机视觉领域早起的发现：在深度卷积神经网络中，较高层次通常捕获更细粒度的特征。作者认为BERT中间层的特征足以对部分样本进行判别。提出了DeeBERT模型，在保持模型精度的同时，通过提前结束方法对推断过程的提速可达40%。并通过大量实验分析了BERT的transformer不同层的不同作用及其冗余性。本文的研究动机从计算机视觉领域借鉴而来，所用的方法取得了不错的成效，启示研究者应当具有开放性思维。

论文：https://www.aclweb.org/anthology/2020.acl-main.204/ 代码：https://github.com/castorini/DeeBERT

内容中包含的图片若涉及版权问题，请及时与我们联系删除