A Survey of Prompt Engineering Methods in Large Language Models for Different NLP Tasks

大型语言模型（LLMs）在许多不同的自然语言处理（NLP）任务上表现出了出色的性能。提示工程在增加LLMs已有能力的基础上发挥了关键作用，以在各种NLP任务中实现显著的性能提升。提示工程需要组成自然语言指令，即提示，以结构化的方式引出LLMs的知识。与先前的最先进模型不同，提示工程不需要基于给定的NLP任务进行广泛的参数重新训练或微调，因此仅仅在LLMs的嵌入式知识上操作。此外，LLM爱好者可以通过基本的自然语言对话交流或提示工程智能地提取LLMs的知识，使越来越多的人即使没有深入的数学机器学习背景也可以尝试LLMs。随着提示工程在过去两年中越来越受欢迎，研究人员已经提出了许多关于设计提示以提高从LLMs中提取信息准确性的工程技术。在本文中，我们总结了不同的提示技术，并根据它们用于的不同NLP任务将它们组合在一起。我们进一步详细介绍了这些提示策略在属于该NLP任务的各种数据集上的性能，讨论了相应的LLMs使用情况，呈现了一个分类图，并讨论了特定数据集的可能最先进技术。总体而言，我们阅读并呈现了44篇研究论文的调查，这些论文讨论了29个不同的NLP任务上的39种不同的提示方法，其中大多数论文在过去两年中发表。

本文旨在总结不同的提示技术，并根据它们用于不同自然语言处理任务的效果进行分类。这些提示技术利用大型语言模型的嵌入知识，以结构化的方式引导模型提取信息，而无需进行参数重新训练或微调。

本文总结了44篇研究论文，介绍了39种不同的提示方法，涉及29个不同的自然语言处理任务。这些提示方法可以帮助提高大型语言模型在各种NLP任务上的性能。

本文详细介绍了各种提示方法在不同数据集上的性能和应用，同时提供了分类图表和可能的SoTA结果。此外，本文还强调了提示工程的重要性，以及这些技术的普及性和可操作性。

最近的相关研究主要集中在大型语言模型的应用和优化上，例如GPT-3和BERT的改进。一些相关的论文包括：“GPT-3: Language Models are Few-Shot Learners”和“BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding”。