InstructZero: Efficient Instruction Optimization for Black-Box Large Language Models

解决问题：本篇论文旨在解决大型语言模型中的指令优化问题，特别是针对禁止反向传播的黑盒语言模型。通过优化一个低维的软提示来生成指令，从而提高黑盒语言模型的性能。

关键思路：本文的关键思路是使用一个开源语言模型将软提示转化为指令，然后将指令应用于黑盒语言模型进行零样本评估，通过贝叶斯优化生成新的软提示来提高性能。相比于当前领域的研究，本文的方法可以在不使用反向传播的情况下优化指令，具有一定的新意。

其他亮点：本文的实验使用了多个开源语言模型和API，包括Vicuna和ChatGPT，并在不同的下游任务中评估了InstructZero的性能。实验结果表明，InstructZero在各种下游任务中优于当前最先进的自动指令方法。本文的代码和数据已经公开在GitHub上。

关于作者：本文的主要作者是Lichang Chen、Jiuhai Chen、Tom Goldstein、Heng Huang和Tianyi Zhou。他们分别来自于美国普渡大学和中国科学技术大学。Lichang Chen曾经主持过“Neural Ordinary Differential Equations”等多个项目，Tom Goldstein则是“Deep ADMM-Net”等多个项目的主要作者。

相关研究：近期其他相关的研究还包括“Learning to Optimize Outcomes”(作者：Yi Ding等，机构：斯坦福大学)、“Optimizing Millions of Hyperparameters by Implicit Differentiation”(作者：Aaron Klein等，机构：耶鲁大学)等。

论文摘要：本文介绍了一种针对黑盒大型语言模型（LLMs）的高效指令优化方法InstructZero。LLMs是指令执行者，但是在不同情境下寻找最佳指令可能会很具有挑战性，特别是对于禁止反向传播的黑盒LLMs。本文提出的方法不是直接优化离散指令，而是优化应用于开源LLM的低维软提示，以生成黑盒LLMs的指令。在InstructZero的每个迭代中，软提示会被转换成指令，并应用于黑盒LLMs进行零次评估，性能结果会被发送到贝叶斯优化中，以生成新的软提示，从而提高零次评估的性能。本文在不同的开源LLMs和API组合上评估了InstructZero，包括Vicuna和ChatGPT。结果表明，在各种下游任务上，InstructZero优于SOTA自动指令方法。本文的代码和数据公开在https://github.com/Lichang-Chen/InstructZero。

内容中包含的图片若涉及版权问题，请及时与我们联系删除