大规模语言模型已经被证明可以很好的应用到小样本学习任务，例如 OpenAI 提出的 GPT-3 在小样本（few-shot）场景上取得了不错的性能，但是在零样本（zero-shot）学习任务中表现不是很突出。为了提升模型的泛化能力和通用能力，一种新范式诞生了——Instruction Tuning，通过以 Instrcution 为指导的大量任务进行学习，提升在未知任务的性能。
本文首先介绍下 Instruction Tuning 与之前比较火的 Prompt tuning 方法的区别。最后介绍了四篇Instruction Tuning相关的论文。
01. FLAN
论文标题：
Finetuned Language Models Are Zero-Shot Learners
论文链接：
https://arxiv.org/abs/2109.01652
02. T0
论文标题：
Multitask Prompted Training Enables Zero-Shot Task Generalization
论文链接：
https://arxiv.org/abs/2110.08207
03. InstructGPT
论文标题：
Training language models to follow instructions with human feedback
论文链接：
https://arxiv.org/abs/2203.02155
04. Natural-Instructions v2
论文标题：
Benchmarking Generalization via In-Context Instructions on 1,600+ Language Tasks
论文链接：
内容中包含的图片若涉及版权问题，请及时与我们联系删除
评论
沙发等你来抢