随着预训练模型的发展,NLP领域从各自任务的单打独斗,逐渐转变为几个主流范式的中原逐鹿,近期风头正盛的prompt learning更是隐隐有一统江湖之势。
这些范式经历了哪些兴衰和转移?大模型时代,得大模型者得天下,哪些范式随预训练模型而来,哪些范式又将随预训练模型而去?
在本文中,我们希望通过梳理过去NLP中的范式迁移现象和趋势,分析当前有潜力统一所有NLP任务的通用范式,对上述问题做一些回答。

-
论文链接:https://arxiv.org/abs/2109.12575 -
项目网站:https://txsun1997.github.io/nlp-paradigm-shift/ -
Slides:https://txsun1997.github.io/slides/nlp-paradigm-shift.pdf
内容中包含的图片若涉及版权问题,请及时与我们联系删除


评论
沙发等你来抢