Prompt Optimization with EASE? Efficient Ordering-aware Automated Selection of Exemplars

大型语言模型（LLMs）在实际应用中展现出了令人印象深刻的能力。在上下文学习（ICL）的能力下，我们可以通过在提示中包含输入-标签示例而无需对模型进行微调来使LLM适应下游任务。然而，提示中这些示例的质量对性能有很大影响，这突显了需要一种有效的自动示例选择方法。最近的研究探索了基于检索的方法来选择适合个别测试查询的示例，但这可能会因额外的测试时间计算和数据暴露的风险而不受欢迎。此外，现有方法未能充分考虑示例排序对性能的影响。另一方面，提示中的指令，也是提示中的另一个重要组成部分，在现有示例选择方法中经常被忽视。为了解决这些挑战，我们提出了一种名为EASE的新方法，它利用预训练语言模型的隐藏嵌入来表示有序的示例集，并使用神经赌博算法来优化示例集，同时考虑示例排序。我们的EASE可以高效地找到一个有序的示例集，适用于给定任务的所有测试查询，从而消除测试时间计算。重要的是，EASE可以轻松地扩展到联合优化示例和指令。通过广泛的实证评估（包括新任务），我们展示了EASE优于现有方法，并揭示了关于示例选择对ICL的影响的实用见解，这可能是独立感兴趣的。我们的代码可在https://github.com/ZhaoxuanWu/EASE-Prompt-Optimization上获得。

本论文旨在解决在上下文学习中自动选择范例的问题，提出了一种名为EASE的新方法，旨在通过利用预训练语言模型中的隐藏嵌入来表示有序的范例集，并使用神经赌博算法来优化范例集，同时考虑范例排序对性能的影响。

EASE方法通过利用预训练语言模型的隐藏嵌入来表示有序的范例集，并使用神经赌博算法来优化范例集，同时考虑范例排序对性能的影响，从而实现在不进行模型微调的情况下有效地选择范例。

论文通过实验验证了EASE方法在各种任务中的有效性，并提供了开源代码。此外，论文还揭示了范例选择对上下文学习的影响，为进一步研究提供了启示。

最近的相关研究包括使用检索方法选择范例和使用神经网络选择范例等。其中一些研究包括《Learning to Learn from Weak Supervision by Full Supervision》和《Few-shot Text Classification with Distributional Signatures》。