Token省76.8%、速度快47.4%：Comet Native实测基准数据背后的原理深潜
【免费下载链接】cometComet: agent skill harness for turning ideas into evaluated workflows项目地址: https://gitcode.com/rpamis/comet
🚀Comet是面向编码 Agent 的技能与长任务工作流平台，其Comet Native 工作流在最近一轮实测基准中交出了一份亮眼答卷：在双方均通过的 41 组配对样本里，Native 相比 0.4.0 Classic总 Token 减少 76.8%、Agent 轮次减少 57.4%、耗时减少 47.4%，且 pass^3 提升到 87.5%（+12.5 个百分点）。本文带你深潜这组基准数据背后的原理：钱和速度，到底省在哪里？
一、先看数据：这组基准是怎么测出来的
在解读原理之前，先明确实验口径，避免"幸存者偏差"式的误读：
| 项目 | 说明 |
|---|---|
| 实验任务 | 16 个对齐的 Comet 工作流任务 |
| 每组运行次数 | Native / Classic 各 48 次（pass@3 口径下多轮采样） |
| 对比样本 | 双方均通过的 41 组配对样本（排除掉队样本干扰） |
| 核心结果 | Token -76.8%、Agent 轮次 -57.4%、耗时 -47.4% |
| 质量结果 | Native pass^3 达 87.5%（+12.5pp），两种模式 pass@3 均为 100% |
⚠️ 一个容易被忽略的细节："省 Token"不是以牺牲可靠性换来的。pass@3 双方都是 100%，而衡量"每次都做对"的严格指标 pass^3，Native 反而更高。也就是说，省下来的 Token 不是"少干正事"，而是"少干重复、无效的协议动作"。
二、原理深潜①：把"证明我完成了"的开销砍掉
传统重型工作流（如 Classic 保留的 OpenSpec + Superpowers 五阶段治理模型）要求 Agent 在每一步都留下可审计的证据：项目快照、文件哈希、receipt（回执）、evidence（证据链）、逐项验收文件……这些机制本身没问题，但每一分"证明成本"最终都折算成 Agent 的上下文占用与额外轮次，也就是真金白银的 Token。
Comet 0.4.0-beta.17 对 Native Runtime 做了一次彻底的验收重构（设计全文见 NATIVE-RUNTIME-VERIFICATION-LOOP-REDESIGN.md），核心决策只有四条，但条条切在 Token 消耗的大头上：
- 实现者与验收者分离：Builder Agent 只提交"候选完成"，没有宣布通过的权力；验收由 Runtime 分派的全新 Verifier execution完成。这样避免了同一上下文里"自我复核—自我说服"带来的冗长往返。
- 删除重型完整性机制：正常 Verify 路径不再做项目快照、不再计算全项目文件哈希、不再维护 receipt/evidence 引用链。一份
comet-state.yaml作为唯一可携带语义状态，Agent 崩溃或换会话后只需读它恢复，而不是重读一整套派生状态文件。 - 每个必要检查在同一实现状态上最多执行一次：Runtime 用检查回执（check receipt）记录"这条命令已经真实跑过且通过"，后续复用而不是让 Agent 反复重跑。
- 有界 Loop + 停滞判断：Build ↔ Verify 之间保留修复循环，但带总轮次上限与停滞检测——Agent 不会陷入"重试 → 失败 → 再解释 → 再重试"的 Token 黑洞。
一句话概括：把"证明"的活从 Agent 的上下文里挪进 Runtime 的代码里。Agent 专注写代码和验收，协议开销由确定性程序承担，这直接解释了 Agent 轮次为何能砍掉 57.4%。
三、原理深潜②：Runtime 自身也在"抠"毫秒
Token 省了还不够，CLI 和 Runtime 自身的启动、检查耗时同样会被 Agent 反复调用，慢一秒就是几十秒的累积等待。项目仓库里保存了两轮严格的 Runtime 实测（Windows、Node v22.20.0，每场景 30 次正式采样）：
📊CLI 层实测（workflow-cli-performance-results.md）：
| 场景 | 中位耗时变化 | Git 子进程数 |
|---|---|---|
| Classic 检查首次执行 | -48.0%（3432.7 → 1786.3 ms） | 26 → 8 |
| Classic 检查复用 | -48.0%（2149.5 → 1116.9 ms） | 15 → 4 |
| Classic 输入变化后检查 | -59.1%（5096.0 → 2085.0 ms） | 45 → 12 |
| Native 检查首次执行 | -28.5%（4874.5 → 3487.0 ms） | 21 → 20 |
收益主要来自两处工程手段：
- 批量合并 Git 调用：把脏文件/未跟踪文件逐个
git hash-object的逐文件扫描，合并为有序批量调用，Git 子进程数最高从 45 次压到 12 次； - 只读查询走快捷路径 + 去重：
current/next这类高频状态查询跳过低收益模块加载（经验性学习记录延迟到实际记录时才加载），并在同一命令内复用身份查询结果（详见 runtime-performance-report.md 与 runtime-latency-repair-validation.md）。
💡 值得注意：30 个 worktree 的Native status中位耗时从 8248 ms 降到 577 ms（约 -93%），Git 调用从 92 次降到 2 次——查询成本不再随无关 worktree 数量增长，这正是"Agent 每轮都要问一次状态"场景下的隐藏 Token/时间税。
四、省下的成本去哪了？——质量不降反升
省 Token 最大的风险是"偷工减料"。Comet 用双层证据回答这个问题：
- Rubric 画像：0.4.0 在 11 个评测维度上对 0.3.9 全面持平或领先，"Recovery resilience（恢复韧性）"一项提升 +0.44，总加权分 +0.07：
- 可审计的原始报告：仓库内保留了完整的基准原始数据，例如 native-benchmark-report.json 逐 Wave 记录了 turns、total_tokens、cost_usd 与失败检查项，任何人都可以自行复核，而不是只看结论图。
在浏览器端，统一的三栏 Dashboard 让你随时看到每个 change 处于"设计 / 构建 / 验证 / 归档"哪一阶段、Verify 是否通过、下一步该执行什么命令——效率优化没有以牺牲可观测性为代价。
五、如何上手体验 Comet Native
🛠️ 上手成本极低，只需要记住"两个 Skill + 一个命令"：
- 初始化（如需要 clone，仓库地址为 https://gitcode.com/rpamis/comet ）：在项目里运行
comet init，交互式选择 Native（面向能自主规划、验证的强模型）或 Classic（需要完整五阶段强约束的任务），配置统一写入.comet/config.yaml； - 进入工作流：在 Agent 中用
/comet，它会只读项目配置并确定性地转发到/comet-native或/comet-classic； - 评估你的 Skill：用
comet eval结合 Rubric、Pass@k / Pass^k 对任意 Skill 做科学评测，让"优化有没有用"有数据支撑。
Native 的用户可读产物默认位于docs/comet/（需求、目标行为、验收结论三类 Markdown），机器状态固定在.comet/runtime/native/，两者分离——这也是"状态不伪装成文档、文档不拖累上下文"设计哲学的落点。
六、关键资料索引
| 资料 | 相对路径 |
|---|---|
| 中文 README（含 76.8% 实验摘要） | README-zh.md |
| Native 验收循环重构设计（原理核心） | docs/architecture/NATIVE-RUNTIME-VERIFICATION-LOOP-REDESIGN.md |
| Supervisor 子任务统一验收设计 | docs/architecture/NATIVE-SUPERVISOR-SUBTASK-ACCEPTANCE-UNIFICATION.md |
| Workflow CLI 性能对比结果 | docs/research/2026-09-22-workflow-cli-performance-results.md |
| Runtime 性能前后对照报告 | scripts/benchmark/runtime-performance-report.md |
| 基准原始数据（JSON） | assets/eval-reports/comet-native-vs-beta16-beta17-20260810/native-benchmark-report.json |
| Native 运行时源码 | domains/comet-native/ |
七、总结：省钱的本质是"职责归位"
回到标题的那组数字——76.8% 的 Token 与 47.4% 的时间节省，并非来自某个魔法参数，而是三个工程决策叠加的结果：
- ✅ 把快照、哈希、证据链等协议开销从 Agent 上下文移入 Runtime 代码；
- ✅ 用检查回执与只读快捷路径，把每次调用的 CLI/Git 成本压到最低；
- ✅ 用有界 Loop 与独立 Verifier，杜绝无效重试的同时保住了质量。
对普通用户而言，你不需要理解这些细节就能受益：选 Native、跑/comet、用 Dashboard 看进度即可。但当你读懂了"钱省在哪"，也会更有信心判断：这套工作流在复杂项目里，值得托付。
【免费下载链接】cometComet: agent skill harness for turning ideas into evaluated workflows项目地址: https://gitcode.com/rpamis/comet
创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
