Paraphrase Types Elicit Prompt Engineering Capabilities

现代语言模型的成功很大程度上取决于找到一个合适的提示来指导模型。到目前为止，人们很少知道提示中语言表达的变化如何影响这些模型。本研究通过同义改写类型（即特定位置的不同语言变化）系统地、经验性地评估了哪些语言特征通过影响模型来影响模型。我们在120个任务和六个同义改写类别（即形态、语法、词汇、词汇-语法、语篇和其他）中测量了五个模型的行为变化。我们还控制了其他提示工程因素（例如提示长度、词汇多样性和与训练数据的接近度）。我们的结果显示，当模型的提示在特定的同义改写类型中进行适应时（例如Mixtral 8x7B中的6.7%中位数增益；LLaMA 3 8B中的5.5%），语言模型有潜力改善任务。特别是形态和词汇的变化，即所使用的词汇表，显示出改善提示的潜力。这些发现有助于开发更强大的语言模型，能够处理语言表达的变异。

本论文旨在系统地评估不同语言特征对语言模型的影响，以及不同的改写类型对模型性能的影响，并探讨如何使语言模型更加稳健。

本论文通过改变提示语的不同语言特征和不同的改写类型，系统地评估了语言模型的行为变化，并发现改变提示语的形态和词汇等语言特征可以提高模型的性能。

论文进行了120个任务的实验，涉及六个改写类型，控制了其他提示工程因素，发现改变提示语的形态和词汇等语言特征可以提高模型的性能。这些发现有助于开发更加稳健的语言模型。

最近的相关研究包括《Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer》和《Language Models are Few-Shot Learners》等。