Task Facet Learning: A Structured Approach to Prompt Optimization

这篇论文讨论了如何将一个任务的基本描述和训练样例综合成一个大型语言模型（LLM）所需的文本提示的问题，即提示优化问题。人类在解决这个问题时也会考虑定义任务的不同方面（例如，反例、解释、类比）并将它们包含在提示中。然而，目前的算法方法，基于迭代编辑给定的提示或自动选择一些上下文中的例子，是否能够涵盖解决复杂任务所需的多个方面还不清楚。本文将提示优化视为从一组训练样例中学习任务的多个方面的问题。作者发现提示可以分解成松散耦合的语义部分，这些部分对提示性能的影响相对独立；同时，作者对输入空间进行聚类并使用聚类批次，使优化过程可以跨批次学习任务的不同方面。作者提出的算法UniPrompt由一个生成模型和一个反馈机制组成，可以为每个提示部分生成初始候选项，然后将多个小批次的建议编辑聚合成该部分的概念描述。在多个数据集和一个实际任务的实证评估中，UniPrompt生成的提示比人工调整的提示和现有方法生成的提示具有更高的准确性。特别是，该算法可以生成现有方法无法生成的长而复杂的提示。UniPrompt的代码将在\url{https://aka.ms/uniprompt}上公开。

本论文旨在解决prompt optimization问题，即如何将给定的任务描述和训练示例合成为大型语言模型（LLM）的文本提示。论文提出了一种新的算法UniPrompt，旨在从训练示例中学习任务的多个方面，并生成更准确的提示。

UniPrompt算法的关键思路是将提示分解为语义上松散耦合的部分，并使用聚类批处理来学习任务的不同方面。UniPrompt包括一个生成模型和一个反馈机制，用于将多个小批次的建议编辑聚合成部分的概念描述。

论文通过实验评估了UniPrompt算法在多个数据集和真实任务中生成提示的性能，结果表明UniPrompt生成的提示比人工调整的提示和现有方法生成的提示更准确。此外，UniPrompt能够生成复杂的长提示，这是现有方法无法生成的。论文还提供了UniPrompt的开源代码。

最近在这个领域中，还有一些相关的研究，例如GPT-3和PPLM等。