📖标题:WEFT: Scaling Tool-Use Post-Training for General-Purpose Agents
🌐来源:arXiv, 2609.36887v1
🛎️文章简介
🔸研究问题:如何在不只是简单增加可执行环境数量的情况下,通过优化整个代理交互系统来提升大模型使用工具的能力?
🔸主要贡献:论文提出了WEFT框架,将训练重点从单一环境扩展至包含环境、任务、代理 harness 和评估器的完整交互系统,并通过执行反馈实现系统的自我进化和稳定训练。
📝重点思路
🔸构建可扩展的代理交互系统:不仅合成有状态的环境,还生成经过验证的原子任务,并将其组合成跨工具的复杂工作流。同时,通过改变任务披露方式(如完全告知或模拟用户逐步提问)和使用不同的代理运行框架,增加交互的多样性。
🔸执行驱动的自我进化:利用执行轨迹和状态证据来区分是模型策略错误还是环境、任务或验证器本身的问题。针对非模型错误进行组件修订,并通过新一轮的执行来验证修改效果,从而迭代提升训练信号的质量。
🔸稳定的大规模后训练:在监督微调中,采用保留前缀的拒绝采样,只重试失败的原子步骤而保留已成功的前序进度;在强化学习中,通过任务过滤确保验证器可靠性,并使用原子轮次的信用分配提供细粒度的学习信号。
🔸MegaMCP基础设施:设计了一种共享服务架构,允许多个并发执行过程共享工具服务后端,但保持各自数据库和工作区状态的隔离与可恢复,大幅降低了资源消耗和启动延迟。
🔎分析总结
🔸性能显著提升:WEFT训练的8B和14B模型在BFCL V4、τ2-Bench和Claw-Eval等多个基准测试中,均优于同等规模的其他环境扩展基线模型,特别是在记忆和多轮交互任务上表现突出。
🔸自我进化有效:在固定任务和预算的情况下,经过三轮自我进化,训练轨迹中的工具调用错误率相对降低了45.5%,下游基准测试分数提升了3.65至5.25个百分