APEER: Automatic Prompt Engineering Enhances Large Language Model Reranking

大型语言模型（LLMs）显著增强了各种模块的信息检索（IR），例如重新排序。尽管表现出色，但目前使用LLMs进行零-shot相关性排名严重依赖于人类提示工程。现有的自动提示工程算法主要集中在语言建模和分类任务上，对IR领域，尤其是重新排序领域的研究还不够。由于查询和长段落对在输入中的排名复杂度超过分类任务，因此直接将当前的提示工程算法应用于相关性排名是具有挑战性的。为了减少人力投入并释放重新排序中提示优化的潜力，我们介绍了一种新的自动提示工程算法，名为APEER。APEER通过反馈和偏好优化迭代生成精细的提示。通过对四个LLMs和十个数据集的广泛实验，我们证明了APEER相对于现有的最先进（SoTA）手动提示的显着性能提升。此外，我们发现APEER生成的提示在不同任务和LLMs之间具有更好的可转移性。代码可在https://github.com/jincan333/APEER上获得。

本论文旨在解决零-shot相关性排序中人工prompt工程的问题，提出了一种名为APEER的自动prompt工程算法。

APEER算法通过迭代生成反馈和优化偏好的精细prompt，以减少人工工作量并实现相关性排序的最优化。

在四个LLMs和十个数据集上的实验表明，APEER比现有的最先进的手动prompt表现更好，并且生成的prompt在不同的任务和LLMs之间具有更好的可转移性。研究还开源了代码。

最近的相关研究包括：1）使用不同的LLMs进行相关性排序；2）使用不同的prompt工程算法；3）使用不同的评估指标。