Self-Reflection in LLM Agents: Effects on Problem-Solving Performance

在这项研究中，我们探讨了自我反思对大型语言模型（LLMs）在解决问题时的影响。我们指示九个热门的LLMs回答一系列的选择题以提供性能基线。对于每个错误回答的问题，我们指示八种类型的自我反思的LLM代理反思他们的错误并提供指导来改善问题解决。然后，使用这些指导，每个自我反思的代理尝试重新回答相同的问题。我们的结果表明，LLM代理能够通过自我反思显著提高他们的问题解决能力（$p<0.001$）。此外，我们比较了各种类型的自我反思，以确定它们对性能的个别贡献。所有代码和数据都可以在GitHub上找到，网址为https://github.com/matthewrenze/self-reflection。

探究自我反思对大型语言模型（LLMs）在解决问题时的影响。

通过指导LLMs进行自我反思，使其能够显著提高解决问题的表现。

本研究指导了八种不同类型的自我反思LLMs，并使用开源数据集进行了实验。结果表明，自我反思能够显著提高LLMs的问题解决表现。作者还在GitHub上公开了所有的代码和数据。

最近的相关研究还需要进一步探究自我反思对LLMs的影响以及如何进一步提高其表现。