DynaSaur: Large Language Agents Beyond Predefined Actions

现有的大型语言模型（LLM）代理系统通常在每一步从一个固定且预定义的动作集中选择动作。虽然这种方法在封闭、范围狭窄的环境中是有效的，但我们认为，在将LLM代理部署到现实场景中时，它存在两个主要挑战：（1）从固定的动作集中选择显著限制了LLM代理的规划和执行能力；（2）这种方法需要大量的人力来列举并实现所有可能的动作，这在具有大量潜在动作的复杂环境中变得不切实际。在这项工作中，我们提出了一种LLM代理框架，该框架能够在线动态创建和组合动作。在这个框架中，代理通过在每一步生成并执行用通用编程语言编写的程序与环境交互。此外，生成的动作会随着时间积累以供将来重用。我们在GAIA基准上的广泛实验表明，该框架提供了显著更大的灵活性，并且优于先前的方法。值得注意的是，它允许LLM代理在预定义集不存在相关动作或现有动作因未预见的边缘情况而失败的情况下恢复。撰写本文时，我们在GAIA公开排行榜上位居榜首。我们的代码可以在[https://github.com/adobe-research/dynasaur](https://github.com/adobe-research/dynasaur)找到。

该论文试图解决现有大型语言模型（LLM）代理系统在真实世界场景中因固定和预定义动作集而导致的规划与行动能力受限问题，以及在复杂环境中枚举和实现所有可能动作所需的巨大人力成本问题。这些问题在开放和广泛的应用场景中尤为突出。

论文提出了一种新的LLM代理框架，允许代理在每个步骤中动态生成和执行通用编程语言编写的程序，从而实现动作的动态创建和组合。这一框架不仅提高了代理的灵活性，还通过积累生成的动作供未来重用，减少了对预先定义动作集的依赖，解决了现有方法的局限性。

论文通过GAIA基准测试进行了广泛的实验，证明了该框架在灵活性和性能上的显著优势。特别是在处理没有预定义相关动作或现有动作因边缘情况失败的场景时，该框架表现出色。此外，该研究已开源，代码可在GitHub上获取，进一步促进了该领域的研究和应用。

近年来，关于LLM代理系统的相关研究包括：1.《Reinforcement Learning with Large Language Models》探讨了如何利用LLMs增强强化学习；2.《Emergent Tool Use from Multi-Task Reinforcement Learning》研究了多任务强化学习中工具使用的自发出现；3.《Program Synthesis with Large Language Models》则关注于利用LLMs进行程序合成。这些研究为本文提出的动态动作生成框架提供了理论和技术基础。