news 2026/10/28 15:55:14

双 11 前的 Token 预算预案:先统一计费单位,再设计降级阈值

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
双 11 前的 Token 预算预案:先统一计费单位,再设计降级阈值

大促预算最先该核对的,往往不是模型选型,而是单位:报价按千Token还是百万Token,输入与输出是否同价,缓存和重试怎样计费。一个小数点错误,乘上峰值请求量后就会放大成明显偏差。

这是一份双11之前的教学预案,没有真实客户大促数据,也没有把未来的11月活动写成已发生。以下价格仅为演算假设,不是任何供应商现价;采购时应使用实际合同与账单规则。

一次任务可能包含多次调用

假设输入每千Token0.05元,输出每千Token0.10元。2700个输入Token的费用是0.135元,400个输出Token是0.04元,一次调用合计0.175元。若失败后又调用一次,失败调用可能也有费用,不能只按最后那条成功回答计算。

图中Retries表示追加调用产生的账目;若输入、输出Token已经汇总了全部尝试,就不能再加一次“重试费”。

用十进制数让单位显式出现

下面按调用记录汇总教学任务费用,字段分别保存输入、输出Token。真实接入还需区分缓存输入、推理Token、批处理和不同模型,不能默认都按这两项价格收费。

from decimal import Decimal as D rates = {"input_per_1000": D("0.05"), "output_per_1000": D("0.10")} calls = [{"task": "t1", "input": 2700, "output": 400}, {"task": "t1", "input": 500, "output": 100}] def cost(row): if row["input"] < 0 or row["output"] < 0: raise ValueError("negative tokens") return (D(row["input"])*rates["input_per_1000"] +D(row["output"])*rates["output_per_1000"])/D(1000) assert cost(calls[0]) == D("0.175") total = sum((cost(x) for x in calls), D(0)) assert total == D("0.210") print("hypothetical yuan per task including both calls", total)

AWS在10月21日的Agent可观测性文章中,把成本归因映射到Agent、请求、模型和Region。这里值得借鉴的是可追溯的维度设计,本文没有部署它的EKS方案,也没有复制厂商性能数据。官方文章

阈值要对应一种可以执行的动作

情况可以事先约定的响应
单任务超预算停止后续自动调用,保留已完成结果
重试频繁暂停该路径,转人工或只读说明
旗舰路径拥堵对适合的任务用经评估的备用路径
资料不足明确无法确认,不为完成率反复生成
总预算接近上限限流、关闭低优先级任务并告知负责人

降级不能只验证便宜,还要检查错答、越权、延迟和人工负担。核心任务是否允许切换模型,应提前经过回归;不能在流量到来后随机挑一个型号。

Google Cloud10月22日将细粒度Token与成本治理列为本季计划preview能力之一。它提供了方向参考,但未来预告不是当前可用性或我们项目的交付保证。发布说明

一份能用的预算预案应连着账本、报警和停止动作。本文只运行了费用算术,没有真实计费调用、峰值压测或大促复盘。

版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/10/28 15:54:57

AI Agent记忆怎么查才准?Graphiti混合检索原理与实践

AI Agent 的记忆怎么查才准&#xff1f;从 Graphiti 讲透 BM25、Embedding、Graph Traversal 与混合检索上周我在做一个客服类 AI Agent 时遇到一个很典型的翻车场景&#xff1a;用户在两天前问过“云存储套餐的涨价时间”&#xff0c;隔天换了个问法说“那个套餐啥时候调价来着…

作者头像 李华
网站建设 2026/10/28 15:53:42

t3code实战:轻量级代码生成与任务编排指南

1. 从“t3code”这个名字说起&#xff1a;它到底是什么&#xff0c;能解决什么问题第一次看到“t3code”这个词&#xff0c;很多人会一头雾水。它不像“Vue”“React”那样一眼能看出是前端框架&#xff0c;也不像“Docker”“K8s”那样自带运维属性。我最初接触它&#xff0c;…

作者头像 李华
网站建设 2026/10/28 15:53:30

多目标跟踪工程实战:卡尔曼滤波与匈牙利匹配的完整实现

简介&#xff1a;这份资源面向计算机视觉初学者与多目标跟踪方向的开发者&#xff0c;聚焦“VIBE前景检测卡尔曼滤波跟踪”这一经典组合&#xff0c;帮助读者理解如何在复杂背景中先提取动态前景、再对多个目标进行持续定位与状态估计。压缩包共16个文件&#xff0c;以7个cpp源…

作者头像 李华
网站建设 2026/10/28 15:53:29

大数据架构下的音频处理技术栈与优化实践

1. 音频数据在大数据架构中的独特挑战音频数据作为非结构化数据的典型代表&#xff0c;在大数据架构中处理时面临着诸多特殊挑战。与传统的结构化数据不同&#xff0c;音频数据具有时序性、高维度和信息密度不均匀的特点。一段1分钟的CD音质音频&#xff08;44.1kHz采样率&…

作者头像 李华
网站建设 2026/10/28 15:53:06

上海市AI+制造指南:23个工业智能化场景落地解析

1. 上海市“AI制造”场景建设指南解读最近拿到这份《上海市“AI制造”场景建设指南&#xff08;第一期&#xff09;》&#xff0c;作为在工业智能化领域摸爬滚打多年的从业者&#xff0c;我第一时间研读了全文。这份指南不同于常见的政策文件&#xff0c;它更像是一本实操手册&…

作者头像 李华
网站建设 2026/10/28 15:51:18

Claude模型内存机制解析与本地缓存实践

我无法根据当前输入生成符合要求的博文。原因如下&#xff1a;项目标题为"claude-mem"&#xff0c;但项目正文为空、关键词为空、摘要描述为空&#xff1b;所谓“相关热搜词”和“最新网络热词”仅重复了标题"claude-mem"&#xff0c;未提供任何实质性背景…

作者头像 李华