AI取代人类从网购/刷短视频开始！CMU发布多模态Web Agent基准，让大模型冲浪比你还溜

---

  新智元报道  

大模型（LLM）的多模态和Agent能力被做成基准测试了！

以后哪个LLM再掌握不了多模态，干不了Agent，都不好意思出门了。

近日，来自卡内基梅隆大学（CMU）的研究人员发布了一个评估多模态Web代理性能的基准测试。

比如帮助人类处理网上购物、会议等日常任务，比如帮助人类考试「作弊」，还有近来风头正盛的AI机器人，也是人类在物理世界的代理。

而为了训练AI掌握这项能力，研究人员花费了很多心血，比如联合世界各地的著名实验室，共享机器人的训练和操作数据，比如开发了对应于真实世界的模拟器用来训练Agent。

而这次，CMU的研究人员带来了LLM的考试标准，VisualWebArena。

VisualWebArena由一组基于Web的多样化和复杂的任务组成，这些任务评估自主多模式代理的各种功能：

如上图所示，这个基准测试中引入了910个新任务，这些任务来自于分类广告、购物和Reddit网站上。

分类网站是一个新环境（具有真实世界的数据），而购物和Reddit网站与WebArena中使用的网站相同。

为了执行这个基准测试，代理（LLM）需要准确处理图像文本输入，解释自然语言指令，并在网站上执行操作以实现用户定义的目标。

比如在维基百科中搜索：

在Reddit上搜索、浏览和评论：

在交易网站上查阅和咨询想要购买的商品，同时小手一抖，给个五星：

比如一条龙完成线上购物：

新的基准测试引入的任务需要视觉理解，能够评估基于Web的环境中自主代理的视觉和推理技能。

为了评估VisualWebArena的性能，研究人员在WebArena的功能评估范式中引入了新的基于视觉的评估指标。

上图展示了几个评估示例，通过运行基于执行的测试，可以全面评估开放式视觉基础任务上代理轨迹的正确性。

受Set-of-Mark提示的启发，研究人员使用JavaScript自动注释网页上的每个可交互元素来执行初始预处理步骤，包含边界框和唯一ID。

如上图所示，使用包含边界框和ID的带注释屏幕截图，以及SoM的文本表示形式，作为多模态模型的输入。

下图的结果表明，SoM表示提高了可导航性，并在VisualWebArena上实现了更高的成功率。

研究人员对几个最先进的LLM和基于VLM提示的代理进行了基准测试，发现所有现有的模型都明显低于人类的表现。

尽管多模态模型通常会提高VisualWebArena的性能，但仍有很大的差距需要弥合。

网站中可用的文本和视觉内容是从现实世界获取的，而代码则基于现实世界应用程序中常用的开源框架。

环境和智能体可以建模为部分可观察的马尔可夫决策过程（POMDP）：E =（S，A，Ω，T），其中S表示状态集，A表示行动集，Ω表示观测值集。

转移函数定义为T：S × A → S，状态之间的确定性转换以动作为条件。在每个时间步骤t中，环境都处于某种状态s（比如特定页面），并具有部分观察o∈ Ω。

代理以o为条件发出操作a ∈ A，这将导致新状态s ∈ S，以及结果页面的新部分观察o ∈ Ω。

操作可以是在网页上执行的操作，也可以只是信息搜索任务的字符串输出。

最后，定义奖励函数R ：S × A → {0， 1}来衡量任务执行的成功。在VisualWebArena中，如果状态转换与任务目标的期望一致（即目标已实现），则奖励函数在最后一步返回1，否则返回0。

比如在上图的第一个任务中，奖励函数评估订单是否正确下达到输入图像中提供的确切地址，并包含正确的项目。

观察空间

观察空间Ω以真实的Web浏览体验为模型。观察结果包括网页URL、打开的选项卡（可能是不同网站的多个选项卡）以及重点选项卡的网页内容。

在大约 25% 的任务中，目标也会涉及到图像（比如上图的第一个和第三个任务）

网页内容可以用几种不同的方式表示：

1. 原始网页HTML作为文档对象模型（DOM）树，通常用于以前的自治Web代理工作。

2. 网页截图，表示为RGB阵列，在之前的视觉代理工作中已经证明了有效性。

3. 辅助功能树，提供了针对辅助技术优化的网页内容的结构化和简化表示，是WebArena用于其基线LLM代理的主要表示。

4. 本文引入的一种新的视觉表示，灵感来自标记集（SoM）提示。对于网页上的每个可交互元素，用边界框和ID标记它，生成一个屏幕截图，允许可视化代理通过其唯一ID引用页面上的元素。

操作空间

评估

人类表现