PRewrite: Prompt Rewriting with Reinforcement Learning

快速工程对于LLM应用程序的发展至关重要。然而，通常以“试错”的方式手动完成。这种手动过程可能耗时、无效，而且生成的提示在很多情况下都不是最佳的。即使对于那些看似工作良好的提示，仍然存在一个悬而未决的问题：通过进一步的修改，这些提示能否变得更好？ 为了解决这些问题，在本文中，我们研究了提示工程自动化。我们考虑了一个具体的使用案例场景，在这种场景中，开发人员/用户起草了初始提示，但缺乏优化这些提示的时间/专业知识。我们提出了PRewrite，这是一个自动化工具，用于重写这些草案并生成高效的新提示。PRewrite基于强化学习（RL）框架，允许端到端优化，我们的设计允许RL搜索在大的动作空间中进行。自动化工具利用手动制作的提示作为起点，使重写过程更加有导向性和高效。生成的提示是人类可读的，且自解释性强，不像以前的一些工作中的提示那样难以理解。我们在不同的数据集上进行了广泛的实验，发现使用这种新方法生成的提示不仅优于专业制作的提示，而且优于以前提出的其他提示生成方法生成的提示。

本论文旨在解决Prompt工程的自动化问题，提出了一种基于强化学习的自动Prompt生成工具PRewrite，以优化已有的Prompt草稿，生成更加有效的新Prompt。

PRewrite工具基于强化学习框架，可以在大型动作空间中进行端到端优化，利用手动设计的Prompt作为起点，使重写过程更加有针对性和高效。生成的Prompt易于理解和解释。

论文进行了广泛的实验，使用了多个数据集，发现PRewrite生成的Prompt不仅优于专业设计的Prompt，也优于其他先前提出的方法。论文还提供了开源代码。

最近的相关研究包括使用不同的机器学习方法进行Prompt生成，如基于规则的方法、基于神经网络的方法等。相关论文包括：《Rule-based Prompt Engineering for Question Answering Systems》、《Learning to Ask Good Questions: Ranking Clarification Questions using Neural Expected Value of Perfect Information》等。