One Prompt is not Enough: Automated Construction of a Mixture-of-Expert Prompts

大型语言模型（LLMs）在接收语言指令和上下文演示时，对于新任务表现出强大的泛化能力。由于这种能力敏感地依赖于提示的质量，因此已经探索了各种方法来自动化指令设计。虽然这些方法展示了有希望的结果，但它们也将搜索提示限制在一个指令上。这种简化显着限制了它们的能力，因为一个不带演示的单个指令可能无法覆盖目标任务的整个复杂问题空间。为了缓解这个问题，我们采用了专家混合模型，并将问题空间分成一组子区域；每个子区域由一个专业的专家管理，配备一个指令和一组演示。为每个区域构建专业专家的过程分为两个阶段：（1）演示分配：受到上下文学习和核回归之间的理论联系的启发，我们根据它们的语义相似性将演示分组成专家组；（2）指令分配：基于区域的联合搜索每个专家的指令，以补充分配给它的演示，产生协同效应。结果方法，名为Mixture-of-Prompts（MoP），在几个主要基准测试中实现了81％的平均胜率，超过了先前的艺术成果。

本论文试图解决在自然语言指令和上下文演示下，大型语言模型在新任务中表现良好的问题。然而，现有的自动指令设计方法仅限于单个指令，无法涵盖复杂问题空间。

本论文采用专家混合模型，将问题空间分为多个子区域，每个子区域由一个专业的专家管理，配备指令和演示。为每个区域构建专业的专家的过程分为两个阶段：演示分配和指令分配。演示分配基于语义相似性将演示分组为专家组。指令分配则通过联合搜索为每个专家分配指令，以补充其分配的演示，从而产生协同效应。

该方法被称为Mixture-of-Prompts（MoP），在多个主要基准测试中，平均胜率为81％，优于现有的方法。实验结果表明，MoP在各种任务上表现出色，证明了它的有效性和可扩展性。该论文还提供了大量的实验细节和开源代码，可供进一步研究使用。

最近的相关研究包括《Learning to Learn with Feedback and Local Plasticity》、《Few-shot Learning with Graph Neural Networks》等。