Localized Zeroth-Order Prompt Optimization

大型语言模型（LLMs）在理解和生成自然语言方面的有效性引起了广泛关注，促使人们开发基于提示的方法来利用黑盒LLMs的强大功能。现有的方法通常优先考虑全局优化以寻找全局最优解，但在某些任务中表现不佳。因此，这促使我们重新思考在提示优化中寻找全局最优解的必要性。为了回答这个问题，我们进行了一项深入的经验研究，得出了两个主要见解。与全局最优解的稀缺性相比，局部最优解通常更普遍且表现良好，这对于有效的提示优化更有价值（见解I）。输入域的选择，涵盖提示的生成和表示，影响了良好表现的局部最优解的识别（见解II）。受这些见解的启发，我们提出了一种新算法，即本地零阶提示优化（ZOPO），它将基于神经切向核的导出高斯过程纳入标准零阶优化，以有效地搜索提示优化中表现良好的局部最优解。值得注意的是，ZOPO在优化性能和查询效率方面均优于现有基线，我们通过大量实验加以证明。

本论文试图解决prompt optimization的问题，即如何高效地利用大型语言模型进行自然语言生成和理解。同时，论文还验证了在prompt optimization中找到全局最优解并不是必要的。

论文提出了一种新算法，即localized zeroth-order prompt optimization (ZOPO)，它结合了神经切向核导出的高斯过程和标准的零阶优化算法，以高效地搜索表现良好的局部最优解。

论文通过实验研究得出两个主要结论：1.在prompt optimization中，相比于全局最优解，表现良好的局部最优解更加普遍和有效；2.输入域的选择对于找到表现良好的局部最优解有重要影响。此外，论文还通过广泛的实验表明，ZOPO算法在优化性能和查询效率方面均优于现有算法。

近年来，prompt optimization领域的相关研究包括：《GPT Understands, Too》、《Plug and Play Language Models: A Simple Approach to Controlled Text Generation》、《The Power of Scale for Parameter-Efficient Prompt Tuning》等。