Revisiting OPRO: The Limitations of Small-Scale LLMs as Optimizers

最近的许多研究旨在通过策略性提示来增强大型语言模型（LLMs）的效力。特别是，通过提示进行优化（OPRO）方法利用LLMs作为优化器，其中优化任务是找到最大化任务准确性的指令，从而提供了最先进的性能。在本文中，我们重新审视了OPRO自动提示在相对小规模的LLMs（如LLaMa-2家族和Mistral 7B）中的应用。我们的调查发现，OPRO在小规模LLMs中显示出有限的有效性，受限的推断能力限制了优化能力。我们建议未来的自动提示工程要考虑模型能力和计算成本两方面。此外，对于小规模LLMs，我们建议采用直接指令，明确概述目标和方法作为强大的提示基线，确保进行中的研究中的提示工程高效且有效。

本论文旨在探讨在小型语言模型上使用OPRO自动提示的效果，并发现OPRO在小型语言模型上的效果受到限制。

本论文建议未来的自动提示工程应该考虑模型能力和计算成本，并为小型语言模型提供清晰的指令作为稳健的提示基线。

论文使用LLaMa-2家族和Mistral 7B等小型语言模型，发现OPRO在小型语言模型上的效果受到限制。建议未来的自动提示工程应该考虑模型能力和计算成本，并为小型语言模型提供清晰的指令作为稳健的提示基线。

最近的相关研究包括使用OPRO方法增强大型语言模型的效能。