LLMs in the Imaginarium: Tool Learning through Simulated Trial and Error

工具对于大型语言模型（LLMs）在获取最新信息并在外部环境中采取重要行动方面至关重要。现有的关于工具增强LLMs的研究主要关注工具的广泛覆盖范围和添加新工具的灵活性。然而，一个关键方面却被低估了，那就是LLM使用已经接受过培训的工具的准确性。我们发现，现有的LLMs，包括GPT-4和专门针对工具使用进行微调的开源LLMs，仅在30%到60%的正确率范围内，远远不能在实践中可靠地使用。我们提出了一种受生物启发的用于增强LLMs的方法，即模拟试错（STE），它编排了生物系统中成功使用工具的三个关键机制：试错、想象和记忆。具体而言，STE利用LLM的“想象力”模拟使用工具的可能情景，之后LLM与工具交互以从其执行反馈中学习。短期和长期记忆都被用来提高探索的深度和广度。ToolBench上的全面实验表明，STE显著提高了LLMs在上下文学习和微调设置下的工具学习能力，为Mistral-Instruct-7B带来了46.7%的提升，并使其胜过GPT-4。我们还展示了通过简单的经验重现策略有效地连续学习工具。

解决问题的关键是如何提高大型语言模型使用工具的准确性，而现有的模型在使用已经训练过的工具时的正确率仍然较低。

提出了一种仿生学启发的方法，通过模拟试错、想象和记忆等机制来提高大型语言模型使用工具的准确性。

论文使用了ToolBench数据集进行了全面的实验，证明了该方法的有效性，并且提出了一个简单的经验回放策略来实现工具的持续学习。

最近的相关研究包括大型语言模型的工具增强、新型的模型训练方法以及仿生学启发的方法等。