论文名称:Adversarial Self-Supervised Data-Free Distillation for Text Classification 作者:Xinyin Ma, Yongliang Shen, Gongfan Fang, Chen Chen, Chenghao Jia, Weiming Lu 提交日期:2020.08 论文链接:https://arxiv.org/abs/2010.04883 推荐理由: 本文发表在EMNLP2020上,提出一种无数据的对抗自监督蒸馏算法,用于文本分类。作者的方法本质是一种两阶段对抗伪数据生成的蒸馏算法,首先把Embedding层进行复制,不进行更新,接着对其后一层的内容进行更新。在三个文本分类数据集上,和同类型工作相比较,取得了不错的效果。

内容中包含的图片若涉及版权问题,请及时与我们联系删除