KDD 2021 | 用NAS实现任务无关且可动态调整尺寸的BERT压缩

在本届KDD 2021大会上，来自微软亚洲研究院的研究员们提出的NAS-BERT 技术，可以直接在上游预训练任务中进行压缩训练，使压缩模型不再依赖于下游的具体任务。并且 NAS-BERT 只需通过一次搜索就可以直接产生不同尺寸的模型，进而满足不同设备的要求。所以即使是资源受限的设备，也可以动态选择合适的架构。可以说相较于传统方法，NAS-BERT让模型部署从此更加灵活~

ACL 2021 | 当模型压缩遇上量子力学——基于矩阵乘积算符的预训练语言模型轻量化微调

受到量子力学中处理量子多体问题的矩阵乘积算符的启发，本文提出了一种新颖的预训练语言模型压缩方法，针对BERT与GPT这种堆叠Transformer结构的网络：综合学术界目前已有的两种解决思路，在实现轻量化微调的同时起到压缩模型参数的效果。

ICLR 2021 Spotlight | 给权重共享一点自由度，通道搜索性能大幅度提升！

模型轻量化作为一种常用的模型加速方法，受到深度学习研究人员的青睐。本文是由商汤科技联合悉尼大学共同探讨了固定权重共享的方式在模型压缩中的利弊，并据此提出一种新的自由权重共享的解法。为了解决搜索空间过大的难题，本文提出了一种多阶段通道数搜索的方法，以促使从“粗搜索”到“细搜索”的进化，进而实现高精度细粒度的模型通道数搜索。

ICLR 2021 | 快手联合多所高校学者提出：一体化模型压缩框架（UMEC）加速推荐场景落地

本文提出的UMEC压缩框架，在有整体资源约束的情况下，将特征压缩和模型压缩两个任务进行联合优化。该框架将推荐系统里开源的benchmark模型压缩了三倍且不损失模型精度，多个压缩尺度下均达到当前最优的模型压缩效果，并且相关的技术已经在快手场景落地。

模型压缩实践——BERT-of-Theseus，一个非常亲民的BERT压缩方法

这里强烈安利大家一个可以应用到实际项目中的BERT压缩方法——BERT-of-Theseus。它与传统的知识蒸馏的核心思想比较相似，主要是通过一些方法让压缩后的模型能够与原始的模型在性能和表现上尽量接近。为验证该方法的有效性，作者还在中文NER任务上进行验证测试，取得了比较可观的效果！

深度学习中的知识蒸馏技术

如果对于模型压缩中重要技术之一的知识蒸馏还不太了解，那么一定要看下这篇！作者把关于知识蒸馏的理论基础介绍的非常详实，并且在第二篇文章中 (https://www.techbeat.net/article-info?id=2021) 分析了知识蒸馏与推荐系统结合的优势，详述了知识蒸馏在阿里、腾讯、百度、爱奇艺、华为等大厂的推荐系统中的落地实践。全文几乎囊括了现在所有知识蒸馏在推荐系统中的各个应用细节，对于工业界落地有非常大的参考意义。

内容中包含的图片若涉及版权问题，请及时与我们联系删除