Intent-based Prompt Calibration: Enhancing prompt optimization with synthetic boundary cases

自动提示工程是一项具有挑战性和重要性的任务，因为大型语言模型（LLMs）对于给定提示的敏感度很高，而文本任务指令的固有歧义也增加了难度。自动提示工程对于实现LLMs的优化性能至关重要。最近的研究表明，LLMs可以通过使用包含上次试验结果并提出改进提示的元提示来自动进行提示工程。然而，这需要一个高质量的基准来比较不同的提示，而在许多实际应用场景中，这是难以获得的并且代价高昂的。在这项工作中，我们引入了一种新的自动提示工程方法，使用校准过程迭代地精细调整提示以适应用户意图。在优化过程中，系统同时生成边界用例的合成数据，并根据生成的数据集优化提示。我们在实际任务（如审核和生成）中展示了我们的方法相对于强有力的专有模型的有效性。我们的方法在有限数量的注释样本下优于现有方法。此外，我们验证了系统的每个关键组件的优点。我们的系统采用模块化方式构建，便于轻松适应其他任务。代码可以在这里找到。

论文旨在解决自动提示工程的问题，即如何自动优化大语言模型的提示以实现最佳性能。

论文提出了一种使用校准过程进行自动提示工程的方法，通过迭代地优化提示来适应用户意图，并生成边界用例的合成数据集来优化提示。

论文在真实世界的任务上展示了该方法的有效性，如内容审核和生成任务。该系统模块化构建，易于适应其他任务。代码已经开源。

最近的相关研究包括使用元提示自动进行提示工程的方法。