论文《Don’t Blame the Large Language Model: How Scaffolding Evolution Shapes Coding Agent Quality》完整梳理
arXiv:2607.03691
一、论文核心内容总结
1. 研究背景
编码智能体(Coding Agent)由底层大模型和**智能体支架(Agentic Scaffolding)**两层构成:支架是介于开发者与LLM之间中间件,负责系统提示词、工具调度、上下文管理、迭代推理循环。行业普遍存在认知误区:用户、开发者遇到智能体效果变差、token消耗暴涨时,全部归因于大模型本身,完全忽略支架迭代带来的负面影响;过往所有评测均固定支架、更换模型,从未单独隔离支架的影响。
2. 研究设计(四大研究问题RQ)
- RQ0 行业支架开发特征:调研5款主流开源CLI编码支架(Codex、Qwen Code、Gemini CLI、OpenCode、OpenHands CLI),对比VS Code、GitHub CLI两款传统开发工具,定义**高速迭代(hyper-churn)**现象:编码支架每周发布1.5–18个版本,日均13–34次合并提交,PR审核中位数不足4小时,数月内累积数千issue