NeurIPS 2022 | 词嵌入表示参数占比太大？MorphTE方法20倍压缩效果不减

词嵌入表示作为机器翻译、问答、文本分类等各种自然语言处理任务的基础，它通常会占到模型参数总量的 20%~90%。存储和访问这些嵌入需要大量的空间，这不利于模型在资源有限的设备上部署和应用。针对这一问题，本文提出了 MorphTE 词嵌入压缩方法。MorphTE 结合了张量积操作强大的压缩能力以及语言形态学的先验知识，能够实现词嵌入参数的高倍压缩（超过 20 倍），同时保持模型的性能。

• 论文链接：https://arxiv.org/abs/2210.15379
• 开源代码：https://github.com/bigganbing/Fairseq_MorphTE

内容中包含的图片若涉及版权问题，请及时与我们联系删除