Prompt通过将输入文本填入预设prompt模板的方式，将下游NLP任务形式与语言模型预训练任务统一起来，来更好地利用预训练阶段学习到的知识，使模型更容易适应于下游任务，在一系列NLP任务上取得了很好的效果[1]。Soft prompt方法使用可学习的参数来替代prompt模板中固定的token，尽管在少标注文本分类任务上性能优异[2]，但是其表现随模型初始化参数不同会出现很大的波动[1, 3]。人工选择soft prompt模型参数需要对语言模型内部工作机理的深入理解和大量试错，并且在遇到不同少标注任务时难以复用。

图片

图1 MetaPrompting帮助模型找到一个更优参数初始化点，以更快、更好地适应于新的少标注任务

为了解决上述问题，本文将目光从任务专用的soft prompt模型设计转移到任务通用的模型参数初始化点搜索，以帮助模型快速适应到不同的少标注任务上。本文采用近年提出的基于优化的元学习方法，例如MAML[4]、Reptile[5]等，来搜索更优的soft prompt模型参数初始化点，以解决模型对初始化点过于敏感的问题。

本文在四个常用的少标注文本分类数据集上进行了充分的实验，结果表明MetaPrompting相比其他基于元学习和prompt方法的强基线模型取得了更好的效果，达到了新的SOTA。

 

论文链接：https://aclanthology.org/2022.coling-1.287/

内容中包含的图片若涉及版权问题，请及时与我们联系删除