Agent 工具调用隔离：别让一次推理放大下游流量

Agent 工具调用隔离：别让一次推理放大下游流量

1. 一次推理会放大多少调用

Agent 可能并行调用多个工具，也可能因参数修正重复调用同一工具。容量评估不能只数用户请求，要把单次任务的工具扇出、重试上限和最长执行时间算进去。

2. 按工具做舱壁隔离

数据库查询、第三方 API 和本地缓存使用不同的并发池与超时。某个依赖饱和时，只拒绝依赖它的动作。工具返回统一的错误码和 retryable 标记，控制器才能决定重试、换路或终止。

3. 限制循环而非相信提示词

最大步骤数、单工具调用次数和总预算都应由代码控制。模型给出的参数必须过 Schema 与权限校验；涉及写入时，还要保留幂等键和人工确认。

4. 观察放大系数

指标至少包含每任务工具调用数、重试原因、工具排队时间和终止位置。只有看到调用如何被放大，才能判断该扩容哪个依赖，或是否应该减少工作流步骤。