A Survey of Prompt Engineering Methods in Large Language Models for Different NLP Tasks

大型语言模型（LLMs）在许多不同的自然语言处理（NLP）任务中表现出了出色的性能。提示工程在增加LLMs已有的能力方面发挥了关键作用，以在各种NLP任务上实现显着的性能提升。提示工程需要组合自然语言指令，称为提示，以结构化的方式引出LLMs中的知识。与以前的最先进（SoTA）模型不同，提示工程不需要基于给定的NLP任务进行广泛的参数重新训练或微调，因此仅仅操作于LLMs的嵌入式知识。此外，LLM爱好者可以通过基本的自然语言对话交流或提示工程智能地提取LLMs的知识，使越来越多的人即使没有深入的数学机器学习背景也能尝试LLMs。随着提示工程在过去两年中越来越受欢迎，研究人员提出了许多关于设计提示以提高从LLMs中提取信息准确性的工程技术。在本文中，我们总结了不同的提示技术，并根据它们用于的不同NLP任务将它们组合在一起。我们进一步详细介绍了这些提示策略在属于该NLP任务的各种数据集上的表现，讨论了相应使用的LLMs，呈现了分类图，并讨论了特定数据集的可能SoTA。总的来说，我们阅读并呈现了44篇研究论文的调查，这些论文讨论了29个不同的NLP任务中的39种不同的提示方法，其中大多数论文在过去两年中发表。

总结不同的提示技术并将它们根据不同的NLP任务进行分类，以提高LLMs的信息提取准确性。

通过提示工程，以结构化的方式从LLMs中提取知识，而无需进行大量参数重新训练或微调，从而获得显着的性能提升。

本文总结了44篇研究论文，涵盖了29个不同的NLP任务，介绍了39种不同的提示方法，讨论了它们在各自任务的性能和可能的SoTA。实验设计和数据集使用也得到了详细描述。

最近的相关研究主要集中在提示工程领域，包括不同的提示设计和评估方法。例如，"Improving Language Understanding by Generative Pre-Training"和"GPT-3"等。