标题：谷歌｜FINETUNED LANGUAGE MODELS ARE ZERO-SHOT LEARNERS（微调语言模型是零样本学习者）

作者：Jason Wei、Quoc V. Le

简介：本文探讨了一种提高语言零样本学习能力的简单方法。 作者展示了指令调优——在一系列任务上微调语言模型通过指令描述 - 大大提高了未知任务的零样本性能。作者采用137B参数的预训练语言模型，并在60多个NLP上对其进行指令调整通过自然语言指令模板表达的任务。作者在看不见的任务类型上评估这个称之为FLAN的指令调整模型。FLAN显着改善了其未经修改的对应物的性能，并在作者评估的25次任务中的19次超过175BGPT-3零样本。FLAN在 ANLI上的表现甚至大大超过了少样本GPT-3，RTE、BoolQ、AI2-ARC、OpenbookQA和 StoryCloze。消融研究表明该任务数量和模型规模是指令调优成功的关键组成部分。

代码下载：https://github.com/google-research/flan

论文下载：https://arxiv.org/pdf/2109.01652v1.pdf

内容中包含的图片若涉及版权问题，请及时与我们联系删除