微软｜基于“梯度下降”和Beam Search的自动提示优化

Automatic Prompt Optimization with "Gradient Descent" and Beam Search

提出了一种自动优化LLM提示方法——Automatic Prompt Optimization(APO)，利用数值梯度下降自动改进提示，从而提高LLM的性能。

R Pryzant, D Iter, J Li, Y T Lee, C Zhu, M Zeng

手写提示需要费时费力，APO提供了一种自动化的解决方案。 方法：利用数值梯度下降自动优化提示，同时结合beam search和bandit selection procedure提高算法效率。 优势：无需调整超参数或模型训练，APO可以显著提高提示的性能，并具有可解释性。

https://arxiv.org/abs/2305.03495 

内容中包含的图片若涉及版权问题，请及时与我们联系删除