Prompt Optimization with Human Feedback

大型语言模型（LLMs）在各种任务中展示了出色的性能。然而，LLMs的性能严重依赖于输入提示，这导致了最近在提示优化方面的一些研究。然而，以前的研究通常需要一个数字得分来评估每个提示的质量。不幸的是，当人类用户与黑匣子LLM交互时，获得这样的得分通常是不可行和不可靠的。相反，通常更容易且更可靠地从人类用户那里获得偏好反馈，即展示从一对提示生成的响应并询问用户哪个更受欢迎。因此，在本文中，我们研究了使用人类反馈进行提示优化（POHF）的问题，即我们旨在仅使用人类偏好反馈为黑匣子LLM优化提示。从竞争性对手的启发中，我们设计了一种理论上有根据的策略，在每次迭代中选择一对提示来查询偏好反馈，因此引入了我们的算法命名为自动POHF（APOHF）。我们将我们的APOHF算法应用于各种任务，包括优化用户说明、文本到图像生成模型的提示优化以及使用人类反馈进行响应优化（即使用我们的APOHF变体进一步优化响应）。结果表明，我们的APOHF可以在少量偏好反馈实例的情况下高效地找到一个好的提示。我们的代码可以在\url{https://github.com/xqlin98/APOHF}上找到。

本论文旨在研究如何使用人类反馈来优化黑匣子大型语言模型中的输入提示，解决了在黑匣子情况下无法获取数值评分的问题。

本文提出了一种基于人类反馈的输入提示优化算法（APOHF），通过人类反馈来确定每次迭代中要查询哪对提示进行比较，从而优化大型语言模型的输入提示。

本文的算法在多个任务中进行了实验，包括优化用户指南、文本到图像生成模型的提示优化以及使用人类反馈进行响应优化。实验结果表明，APOHF算法可以在少量人类反馈实例的情况下高效地找到良好的输入提示。

最近的相关研究包括使用自动评估指标进行输入提示优化的方法，以及使用人类反馈进行模型优化的方法。其中一些研究包括：Unicoder-VL：一种多模态预训练模型；使用人类反馈进行文本生成模型的优化；使用人类反馈进行对话系统的优化。