GoEX: Perspectives and Designs Towards a Runtime for Autonomous LLM Applications

大型语言模型（LLMs）正在超越其传统角色，不仅在对话系统中提供信息，而且积极参与工具并在实际应用和服务中执行操作。如今，人类在将LLM生成的输出（例如代码、函数或操作）投入实际执行之前，需要验证其正确性和适当性。这带来了重大挑战，因为代码理解众所周知非常困难。在本文中，我们研究了人类如何有效地与、委派给和监督未来的自主LLMs进行协作。我们认为，在许多情况下，“事后验证”——在看到输出后验证所提议的操作的正确性——比前面提到的“事前验证”设置要容易得多。实现事后验证系统的核心概念是集成一个直观的撤销功能，并建立LLM生成的操作的损坏限制作为缓解相关风险的有效策略。使用这个功能，人类现在可以撤销LLM生成的输出的影响，或者有信心潜在风险是有界的。我们相信这对于释放LLM代理与应用程序和服务进行交互的潜力，以及减少人类监督是至关重要的。我们描述了我们的开源运行时，Gorilla Execution Engine（GoEX）的设计和实现，并提出了实现LLMs和应用程序之间最小化人类监督目标的开放性研究问题。我们在https://github.com/ShishirPatil/gorilla/上发布了GoEX。

如何有效地与自主的大型语言模型（LLMs）进行协作、委派和监督？如何在最小化人类干预的情况下实现LLMs与应用程序和服务的交互？

通过集成直观的撤销功能和建立LLMs生成的操作的损坏限制，实现后事验证系统，从而减轻相关风险。

论文提出了一个开源运行时Gorilla Execution Engine（GoEX），用于执行LLMs操作，并回答了一些开放性问题，如如何衡量LLMs生成的操作的质量以及如何在LLMs和人类之间建立有效的信任关系。

最近的相关研究包括基于LLMs的对话系统、代码生成和自动摘要等领域的研究。