机器之心报道

编辑：陈萍

大模型能在网上完成人类给的任务吗？新的 Benchmark 来了。

随着生成式 AI 的发展，利用大语言模型构建 AI 智能体逐渐走红。比如斯坦福、谷歌联合构建了一个具有 25 个 AI 智能体的「虚拟小镇」，「小镇居民」的行为比人类角色扮演的更加真实，甚至举办了一场情人节派对。

又比如商汤、清华等机构提出的通才 AI 智能体 Ghost in the Minecraft (GITM)，在《我的世界》中比以往所有智能体都有更优秀的表现……

这些 AI 智能体的先后涌现，甚至让人认为是未来通用人工智能（AGI）的雏形。

然而，有些智能体主要是在简化的合成环境中创建和测试的，这极大地限制了它们在现实场景中的应用。强如 ChatGPT，也只能通过插件的方式与互联网进行有限的互动。

本文，来自卡耐基梅隆大学（CMU）等机构的研究者引入了一个逼真且可复现的网络环境 WebArena，旨在促进研究者开发能够执行各种任务的自主智能体。

论文地址：https://arxiv.org/pdf/2307.13854.pdf

论文主页：https://webarena.dev/#try-it-yourself

项目地址：https://github.com/web-arena-x/webarena

基于 WebArena 环境，该研究发布了一组基准任务，重点是评估智能体完成任务的准确率。此外，他们还设计并实现了几个自主智能体，这些智能体集成了最先进的技术。

结果表明，在 WebArena 环境中，本文设计的智能体在解决复杂问题任务上的性能较差，即本文设计的基于 GPT-4 的智能体在端到端任务上的成功率只有 10.59%。

由此看来，进一步开发更具鲁棒性的智能体还是很必要的，当前最先进的 LLM 在现实任务中还远远不够，以后，研究者可以借助 WebArena 来衡量基于 LLM 的智能体发展。

WebArena 网络环境概述如图 1 所示，其包含四个网络应用程序：在线购物、论坛讨论、协作开发以及业务内容管理。

除了这些平台，该研究还选择了三种在网络任务中经常使用的实用工具：

地图，用于导航和搜索有关兴趣点（POIs）的信息，比如机构或位置；

计算器；

便签本，用于记录笔记。

此外，该研究还将各种知识资源纳入 WebArena 环境中。这些资源的范围从一般的信息库如维基百科，到更专业的知识库如网站用户手册。

该研究还设计了观测数据，包括网页的 URL 和内容部分，此外，他们还提供了多种选项来表示内容：可以将内容表示为屏幕截图（左侧）、HTML DOM 树（中间）和 accessibility tree（右侧）。

动作空间

该研究设计了一个复合动作空间，模拟网页上可用的键盘和鼠标操作。表格 1 列出了所有可用的动作，分为三个不同的组别。第一类包括基本操作，如点击、悬停、输入文本和组合键按下。第二类包括选项卡管理动作，如打开、关闭和在选项卡之间切换。第三类包含 URL 导航动作，例如访问特定的 URL 或在浏览历史中前进和后退。

下表为本文基准和现有基准上的比较。

参考链接：

https://twitter.com/shuyanzhxyc/status/1683917253597855744