Language Agents as Optimizable Graphs

各种人类设计的提示工程技术已被提出，以改进基于大型语言模型（LLM）的问题解决器，产生了许多不同的代码库。我们通过将LLM为基础的代理描述为计算图来统一这些方法。节点实现处理多模态数据或查询LLM的功能，边描述操作之间的信息流。图可以递归地组合成更大的复合图，表示代理之间的层次协作（其中边连接不同代理的操作）。我们的新型自动图优化器（1）通过优化节点级别的LLM提示（节点优化）和（2）改变图连接性来改进代理编排。实验表明，我们的框架可用于高效地开发、集成和自动改进各种LLM代理。代码可以在https://github.com/metauto-ai/gptswarm找到。

本论文旨在统一各种基于大型语言模型（LLMs）的问题解决方法，通过描述LLM代理为计算图来实现。同时，提出了一种新的自动图优化器，可以改进节点级LLM提示和代理编排。

本论文的关键思路是将LLM代理表示为计算图，并使用自动图优化器来改进节点级LLM提示和代理编排，从而提高多模态数据处理的效率。

本论文的亮点在于提出了一种新的自动图优化器，可以改进节点级LLM提示和代理编排，同时可以将多个计算图递归地组合成更大的复合图，从而实现代理之间的协作。作者进行了实验来验证该框架的有效性，并开源了代码。值得继续深入研究。

在这个领域中，最近的一些相关研究包括《Large-scale Language Model-based Code Generation for Natural Language Prompts》、《GPTune: Large-scale Hyperparameter Tuning with GPTs》等。