AFlow: Automating Agentic Workflow Generation

大型语言模型(LLMs)已经展示了在各种领域解决复杂任务的显著潜力，通常通过使用遵循详细指令和操作序列的代理工作流程来实现。然而，构建这些工作流程需要大量的人力投入，限制了可扩展性和普适性。最近的研究试图自动化生成和优化这些工作流程，但现有方法仍然依赖于初始手动设置，并且无法实现完全自动化和有效的工作流程生成。为了解决这个挑战，我们将工作流程优化重新定义为基于代码表示的工作流程搜索问题，其中LLM调用节点通过边相连。我们引入了AFlow，这是一个自动化框架，通过蒙特卡罗树搜索(Monte Carlo Tree Search)高效地探索这个空间，通过代码修改、树形结构的经验和执行反馈来迭代地改进工作流程。在六个基准数据集上的实证评估证明了AFlow的有效性，平均改进了5.7%以上，超过了现有技术基线。此外，AFlow使得更小的模型在特定任务上的表现超过了GPT-4o，而推理成本只有其的4.55%。代码将在https://github.com/geekan/MetaGPT上提供。

论文的问题是如何自动化生成和优化复杂任务的工作流程，以提高可扩展性和泛化性？

论文的解决方案是将工作流程优化问题转化为基于代码表示的搜索问题，并使用蒙特卡罗树搜索来自动化地生成和优化工作流程。这种方法通过代码修改、树形结构的经验和执行反馈来迭代地改进工作流程。

论文的亮点包括使用Monte Carlo Tree Search来自动化生成和优化工作流程，以及在六个基准数据集上进行实验评估，证明了AFlow的有效性。此外，AFlow还使得小型模型在特定任务上能够在4.55％的推理成本内胜过GPT-4o。论文的代码将在https://github.com/geekan/MetaGPT上开源。

最近的相关研究包括基于强化学习的自动化机器学习和自动化深度学习的方法。其中一些论文包括“AutoML-Zero: Evolving Machine Learning Algorithms From Scratch”和“Neural Architecture Search With Reinforcement Learning”。