WebArena: A Realistic Web Environment for Building Autonomous Agents
Shuyan Zhou, Frank F. Xu, Hao Zhu, Xuhui Zhou, Robert Lo, Abishek Sridhar, Xianyi Cheng, Yonatan Bisk, Daniel Fried, Uri Alon, Graham Neubig
[CMU]
WebArena:用于构建自主智能体的真实网络环境
-
动机:随着生成式人工智能的进步,自主智能体通过自然语言命令管理日常任务的潜力逐渐显现。然而,当前智能体主要在简化的合成环境中创建和测试,严重限制了对真实世界场景的表示能力。因此,需要构建一个高度逼真、可复现的智能体命令和控制环境,特别关注在网络上执行任务的智能体。 -
方法:构建了一个智能体命令和控制环境,该环境高度逼真且可复现。环境中包含四个常见领域的完全功能性网站:电子商务、社交论坛、协作软件开发和内容管理。为了鼓励类似人类的任务解决,环境还包括各种工具和外部知识库。在此环境的基础上,提供了一系列评估任务,重点评估任务完成的功能正确性。 -
优势:构建了高度逼真、可复现的智能体命令和控制环境,提供了一系列基准任务,使得研究者可以更好地开发和评估执行任务的自主智能体。在当前最先进的GPT-4语言模型下,即使只有一个示例对,也能取得与最先进文本条件图像编辑框架相竞争的结果。
介绍了WebArena,一个高度逼真、可复现的网络环境,旨在促进能够执行网络任务的自主智能体的发展和测试。
https://arxiv.org/abs/2307.13854
内容中包含的图片若涉及版权问题,请及时与我们联系删除
评论
沙发等你来抢