Demonstration Notebook: Finding the Most Suited In-Context Learning Example from Interactions

大型语言模型（LLMs）在提示工程方面受益匪浅，上下文学习是一种关键技术。尽管先前的方法提供了各种构建用于上下文学习的演示的方式，但它们经常忽略数据集内在的异质性，将相同的演示应用于所有推理问题。我们观察到演示的有效性取决于具体的问题，因此激发了我们探索使用提示工程来选择适当的演示。为了解决自动创建和选择针对每个问题量身定制的演示的挑战，我们提出了一种新的提示工程工作流程，建立在称为“演示笔记本”的新对象上。这个笔记本通过收集和重复利用LLM过去的交互信息来帮助确定一个问题的最合适的上下文学习示例。我们的实验表明，这种方法胜过所有现有的自动演示构建和选择方法（据我们所知），在几个推理基准测试中取得了最先进的结果。该方法的多功能性进一步表现在其在文本摘要和提示压缩任务中的成功。此外，我们贡献了一种严格的分析方法，以揭示演示的“演示制度”，为不同问题类型之间的演示之间的关系提供了有价值的见解。

本论文试图解决在大型语言模型中，如何自动选择最适合的示例来进行上下文学习的问题。同时，论文提出了一种新的prompt engineering workflow来解决这个问题。

论文提出了一种基于“demonstration notebook”的prompt engineering workflow，该notebook可以从大型语言模型的过去交互中收集和重用信息，以识别最适合每个问题的上下文学习示例。

论文的实验表明，该方法在多个推理基准测试中均优于现有的自动演示构建和选择方法，并取得了最先进的结果。此外，该方法在文本摘要和提示压缩任务中也取得了成功。论文还提供了一种严格的分析方法，以揭示演示的“演示制度”，并为演示如何与数据集中的不同问题类型相关提供了有价值的见解。

最近的相关研究包括：《GPT-3: Language Models are Few-Shot Learners》、《Few-shot Learning with Language Model Explanations》等。