作者：Igor Samenko,Alexey Tikhonov,等

简介：本文是巨大型预训练模型为下游任务微调而引发迁移学习的探索之一：词汇迁移。自然语言处理领域最新进展中Transformer已成为绝对主流。这些模型的大多数实际自然语言处理应用通常是通过迁移学习实现的。本文研究了用于微调的语料库特定标记化是否会提高模型的最终性能。作者通过一系列的词汇表优化和迁移实验，证明了这种词汇表优化和迁移策略可以提高模型的性能。作者称之为：在迁移学习领域开创了词汇迁移的这一方向。

论文下载：https://arxiv.org/pdf/2112.14569.pdf

 

 

注：Yandex是俄罗斯最重要网络服务门户之一、Yandex在德国有分公司。

 

内容中包含的图片若涉及版权问题，请及时与我们联系删除