Automatic Prompt Selection for Large Language Models

大型语言模型（LLMs）可以通过适当的指令提示执行各种自然语言处理任务。然而，手动设计有效的提示是具有挑战性和耗时的。现有的自动提示优化方法要么缺乏灵活性，要么效率低下。在本文中，我们提出了一种有效的方法，可以从一组有限的合成候选提示中自动选择给定输入的最佳提示。我们的方法包括三个步骤：（1）对训练数据进行聚类，并使用基于LLM的提示生成器为每个聚类生成候选提示；（2）合成输入-提示-输出元组的数据集，以训练提示评估器，根据其与输入的相关性对提示进行排名；（3）在测试时使用提示评估器选择最佳提示。我们的方法平衡了提示的通用性和特定性，并消除了对资源密集型的训练和推理的需求。它在零样本问答数据集GSM8K、MultiArith和AQuA上展现了有竞争力的表现。

本文旨在提出一种自动选择最佳提示的方法，以解决手动设计有效提示的挑战和时间成本问题。该方法在聚类、生成候选提示、训练提示评估器和测试时使用提示评估器等三个步骤，以自动生成最佳提示。

该方法通过聚类和生成候选提示，以及训练提示评估器和测试时使用提示评估器等三个步骤自动生成最佳提示，从而解决手动设计有效提示的挑战和时间成本问题。

本文提出了一种自动生成最佳提示的方法，通过聚类和生成候选提示，以及训练提示评估器和测试时使用提示评估器等三个步骤，从而解决手动设计有效提示的挑战和时间成本问题。实验结果表明，该方法在零-shot问答数据集（GSM8K、MultiArith和AQuA）上表现出了竞争力。

最近在这个领域中，也有一些相关的研究。例如，有一些研究使用自动学习方法来生成提示，但这些方法通常需要大量的训练和推理资源。另外，还有一些研究使用手动设计的提示，但这些方法往往需要人工的专业知识和经验。