PromptCLUE:大规模多任务Prompt预训练中文开源模型。
中文上的三大统一:统一模型框架,统一任务形式,统一应用方式。
支持几十个不同类型的任务,具有较好的零样本学习能力和少样本学习能力。针对理解类任务,如分类、情感分析、抽取等,可以自定义标签体系;针对生成任务,可以进行采样自由生成。
千亿中文token上大规模预训练,亿级中文任务数据上完成训练,训练任务超过150+。比base版平均任务提升7个点+;具有更好的理解、生成和抽取能力,并且支持文本改写、纠错、知识图谱问答。
统一模型框架:采用Text-to-Text的生成式预训练模型进行统一建模。
统一任务形式:Prompt统一不同的NLP任务间的差异,转化为统一的text-to-text数据形式。
统一应用方式:对目标任务形成拿来即用的模型,下游应用时都可转化为统一的prompt自适应方式,进行zero-shot/few-shot测试。
项目地址:
https://github.com/clue-ai/PromptCLUE
DEMO地址:www.CLUEbenchmarks.com/clueai.html
内容中包含的图片若涉及版权问题,请及时与我们联系删除
评论
沙发等你来抢