本文获ACL2020最佳论文荣誉提名奖。论文指出：在预训练模型的基础上，采用目标领域数据集继续进行预训练（DAPT）可以提升效果；目标领域与语言模型的原始预训练语料越不相关，DAPT效果则提升更明显。在具体任务的数据集上继续预训练（TAPT）也可以很轻松的地提升效果。先进行DAPT，再进行TAPT也可以进一步提升效果。如能获取更多的、任务相关的无标注数据继续预训练（Curated-TAPT）则效果最好。采取一种轻量化的简单数据选择策略也会提升效果。这篇论文为预训练技术的进一步发展提供了新的思路。

论文：https://arxiv.org/pdf/2004.10964.pdf 代码：https://github.com/allenai/dont-stop-pretraining

内容中包含的图片若涉及版权问题，请及时与我们联系删除