如何5分钟跑通ClawBench：新手入门你的第一个浏览器智能体评测任务-平芜编程栈

【免费下载链接】ClawBench

Open-source benchmark for browser AI agents on daily tasks.

项目地址：https://gitcode.com/gh_mirrors/cl/ClawBench

ClawBench 是一个开源的浏览器 AI 智能体评测基准（Benchmark）：它让 AI Agent 驱动真实浏览器，在真实网站上完成点外卖、订旅行、投简历、写评论等日常任务，并通过"请求拦截 + LLM 裁判"给出 PASS/FAIL 评分。本教程将带你在 5 分钟内完成环境安装、模型配置，并跑通你的第一个 ClawBench 评测任务 🚀

ClawBench 是什么？适合谁上手？

ClawBench 的核心思路一句话概括：给 AI 智能体一个真实网站任务，看它能不能真正做完——而不是生成一段"看起来对"的回答。

项目	说明
V1 任务集	152 个日常任务，覆盖 143 个真实网站（`test-cases/v1/`）
V2 任务集	129 个任务，覆盖 63 个真实网站（`test-cases/v2/`）
Lite 快速子集	20 个精选任务，新手首跑推荐（`test-cases/v1-lite/`）
当前最佳成绩	约 33.3%——最强的智能体也大约只能完成 1/3 的任务

它特别适合三类人：想评测自家模型浏览器能力的 AI 工程师、想研究 Agent Harness 的研究者，以及所有好奇"AI 到底能不能帮我点外卖"的普通用户 👀

跑通前的准备工作：3 个环境依赖

开始之前，请确认本机已安装以下三项（官方要求 Python 3.11+）：

Python 3.11 或更高版本
uv—— 一个快速的 Python 包管理器
容器引擎—— Docker 或 Podman 二选一，ClawBench 会自动检测（可用export CONTAINER_ENGINE=docker或podman强制指定）

💡 为什么需要容器？每个任务都会在隔离容器里启动 Chromium + 录屏 + 拦截器，保证对真实网站的操作"安全可回放"，也不会产生真实副作用。

第一步：安装 ClawBench（约 1 分钟）

最简单的方式是从 PyPI 安装，一条命令即可：

uv tool install clawbench-eval

pipx install clawbench-eval或python -m pip install clawbench-eval同样有效。安装后会得到clawbench、clawbench-run、clawbench-batch、clawbench-rescore等命令，完整清单见 docs/cli.md。

如果你还想修改驱动、内置任务或容器构建，建议改用源码方式：

git clone https://gitcode.com/gh_mirrors/cl/ClawBench cd ClawBench

源码目录下执行 run.sh 即进入交互式 TUI，等同于运行clawbench命令。

第二步：配置模型 API Key（约 2 分钟）

评测需要两个模型：被测模型（驱动浏览器干活的）和裁判模型（打分用的）。

复制示例配置：

cp models/models.example.yaml models/models.yaml

编辑 models/models.example.yaml 的模板结构，填入你的 API Key，例如：

your-model: api_key: "sk-..." base_url: https://your-api-host/v1 api_type: openai-completions # 裁判模型（默认 deepseek-v4-pro，与公开榜单保持一致） deepseek-v4-pro: api_key: "sk-..." base_url: https://your-api-host/v1 api_type: openai-completions

⚠️ 新手小贴士：如果暂时没有裁判模型 Key，加--no-judge参数可跳过打分阶段，只验证拦截结果，流程同样能跑通。

第三步：跑通你的第一个任务（约 2 分钟）

方式 A：交互式 TUI（推荐新手）

uv run clawbench

进入引导式界面后，按提示选择模型和测试用例即可，界面会帮你处理所有细节。

方式 B：一条命令直接跑

以 V1 的第 1 号任务为例——"在 Uber Eats 点一份 Pad Thai 外卖并备注不要花生"：

uv run clawbench-run test-cases/v1/001-daily-life-food-uber-eats your-model

把your-model换成你在models.yaml里配置的模型 Key
该任务的定义文件就是 test-cases/v1/001-daily-life-food-uber-eats/task.json，打开看一眼就能理解任务结构：instruction（自然语言指令）、eval_schema（拦截的最终 HTTP 请求）、time_limit（30 分钟时限）

实时观看智能体操作 📺

容器启动后，终端会打印一个noVNC 地址（如http://localhost:6080/vnc.html）。打开它，就能像看直播一样实时观看 AI 智能体在浏览器里搜索、填表、点击下单的全过程。

结果去哪里看？

每次运行的产物都会写入：

./test-output/<model>/<harness>-<case>-<model>-<timestamp>/

里面包含五层同步录制数据，这是 ClawBench 的核心设计：

层级	文件	内容
会话回放	`recording.mp4`	全程 MP4 录屏
操作截图	`screenshots/*.png`	每个动作后的时间戳截图
浏览器动作	`actions.jsonl`	点击、输入、滚动等全部 DOM 事件
HTTP 流量	`requests.jsonl`	完整请求头、参数、Body
智能体对话	`agent-messages.jsonl`	思考过程与工具调用全文

评分是两阶段的（详见 eval/scoring.md）：① 请求拦截器检查最终 HTTP 请求是否匹配任务的 URL/方法；② LLM 裁判核对请求内容是否真正满足自然语言指令。两关都过才算 PASS。

进阶：批量跑完整套任务

单任务跑通后，试试批量评测 20 个精选任务的 Lite 子集（test-cases/v1-lite/）：

uv run clawbench-batch --models your-model --cases-suite v1-lite --all-cases

常用参数：--max-concurrent N控制并发（本地默认 2），--harness <name>更换智能体框架（默认openclaw），完整 harness 注册表见 src/clawbench/runtime/harnesses/harnesses.yaml。跑完还会生成batch-summary.json汇总结果。