通用自适应提示

通用自适应提示

标题：Universal Self-adaptive Prompting

链接：https://arxiv.org/abs/2305.14926 

作者：Xingchen Wan, Ruoxi Sun, Hootan Nakhost, Hanjun Dai, Julian Martin Eisenschlos, Sercan O. Arik, Tomas Pfister

单位：谷歌，牛津大学

现代大型语言模型（LLMs）的一个显著特点是它们令人印象深刻的通用零样本和少样本能力，通常是通过基于提示和/或上下文学习来实现的。然而，虽然高度令人垂涎且最为通用，但是由于缺乏指导和难以在没有地面真实标签的通用任务中应用现有的自动提示设计方法，LLMs 中的零样本表现通常仍然较弱。

在本研究中，作者通过提出通用自适应提示（Universal Self-adaptive Prompting，USP）来解决这个问题，这是一种专门为零样本学习（同时兼容少样本学习）而量身定制的自动提示设计方法。USP 只需要少量无标签数据和仅推理的 LLM 即可实现高度通用性：为了实现通用提示，USP 将可能的 NLP 任务分类为三种可能的任务类型之一，然后使用相应的选择器选择最合适的查询和零样本模型生成的响应作为伪演示，从而以完全自动化的方式将 ICL 推广到零样本设置中。作者使用两个 PaLM 模型评估了零样本 USP，并展示了比标准零样本基线更强的性能，在20多个自然语言理解（NLU）和自然语言生成（NLG）任务中与少样本基线相当甚至更优。

内容中包含的图片若涉及版权问题，请及时与我们联系删除