标题：CMU、AllenAI｜Memory-assisted prompt editing to improve GPT-3 after deployment（记忆辅助提示编辑以在部署后改进GPT-3）

作者：Aman Madaan, Niket Tandon, Peter Clark, Yiming Yang

简介：本文提出了一种增强大模型效果的方法。GPT-3等大型LM虽然功能强大，但不能免于错误，但令人望而却步再训练成本高。一种失败模式是误解用户的指令（例如，GPT-3解释“什么词与好相似？”表示同音异义词，而用户意图同义词）。作者的目标是让用户通过交互直接纠正此类错误——无需再训练。作者的方法将 GPT-3 与不断增长的案例记忆配对模型误解了用户的意图并提供了反馈，澄清了说明。给定一个新查询，作者的内存增强型GPT-3使用来自类似的，先前的查询以丰富提示。通过简单的概念验证实验，作者展示了（模拟的）用户如何以交互方式教授已部署的 GPT-3，将其在用户查询不同的基本词汇任务（例如，生成同义词）上的准确率翻倍，新颖（经常被误解）的方式。在这种情况下，记忆有助于避免重复类似的过去的错误。作者的简单想法是首创加强已部署模型，可能会扩大其效用。

代码下载：https://github.com/madaan/memprompt

论文地址：https://arxiv.org/pdf/2201.06009v1.pdf

内容中包含的图片若涉及版权问题，请及时与我们联系删除