A Systematic Survey of Prompt Engineering in Large Language Models: Techniques and Applications

快速工程已成为扩展大型语言模型（LLM）和视觉语言模型（VLM）能力的不可或缺技术。这种方法利用任务特定的指令（称为提示）来增强模型的效力，而不修改核心模型参数。提示允许无缝地将预训练的模型整合到下游任务中，仅基于给定的提示引出所需的模型行为，而不是更新模型参数。提示可以是自然语言指令，提供上下文以指导模型，也可以是学习的向量表示，激活相关知识。这个新兴领域已经在各种应用中取得了成功，从问答到常识推理。然而，对于各种提示工程方法和技术缺乏系统的组织和理解。本文通过按应用领域分类的方式提供了最近提示工程进展的结构化概述来填补这一空白。对于每种提示方法，我们提供了详细的提示方法、应用、涉及的模型和使用的数据集的总结。我们还深入探讨了每种方法的优点和局限性，并包括一个分类图和表，总结了每种提示技术的数据集、模型和关键点。这种系统分析使我们更好地理解这个快速发展的领域，并通过阐明提示工程的开放挑战和机遇来促进未来的研究。

本篇论文旨在系统地总结和分类最近在Prompt Engineering领域的研究进展，以解决这个新兴领域缺乏系统性组织和理解的问题。

Prompt Engineering通过使用任务特定的指令（即prompt）来扩展大型语言模型和视觉语言模型的能力，而无需修改核心模型参数。本文提供了一个结构化的概述，将最近的Prompt Engineering方法和技术按应用领域进行分类，并提供了每种方法的详细信息，包括方法、应用、涉及的模型和数据集、优势和局限性等。

本文提供了一个系统分析Prompt Engineering领域的最新进展，包括分类、数据集、模型和关键点总结，并探讨了每种方法的优势和局限性。此外，本文还介绍了一些值得关注的工作和开源代码，以及未来研究的挑战和机遇。

与Prompt Engineering领域相关的最新研究包括：《GPT Understands, Too》、《Learning to Prompt for Vision-Language Models》、《Plug and Play Language Models: A Simple Approach to Controlled Text Generation》等。