今天技术圈最值得拆的，不是「模型又大了多少」，而是三件工程账同时被摊开：Anthropic 把 Claude Haiku 5.5 的输入价格压到每百万 token 0.10 美元[① MarkTechPost]；一项在生产环境完成的按调用点评估显示，把每个调用点路由到最佳本地模型可达 91.8%、对比 95.4%，且无按次调用成本[② arXiv cs.AI]；企业侧同日给出成本数字——Haiku 5.5 已在 Amazon Bedrock 与 AWS 上的 Claude Platform 正式可用，多数任务成本比前代低约 75%[③ AWS ML Blog]。本文从定价与分词器、决策模型的输出结构、按调用点路由的实测、集群与求解器配置、智能体治理五条技术线展开。
主题一：小模型承接量产调用——Haiku 5.5 的定价分层、分词器与投入度控制
Claude Haiku 5.5 保持 100 万 token 的上下文窗口与最高 128K 输出 token，定价是两层的：以 10 万提示 token 为分界，10 万以内输入每百万 0.10 美元、输出 0.50 美元，缓存读取 0.01 美元、5 分钟缓存写入 0.125 美元；超过 10 万后费率升至输入 0.50 美元、输出 2.50 美元。作为对照，Haiku 4.5 为输入 1 美元、输出 5 美元，也就是说 10 万 token 以内的提示，新模型比前代低 90%[① MarkTechPost]。
工程上需要同时注意三处细节。其一，它是首个具备可调「投入度」设置的 Haiku 级模型，自适应思考默认开启、effort 参数默认为 medium，可按任务在成本与智能之间调节，而不必为整个工作负载选定单一档位。其二，非默认的 temperature、top_p 或 top_k 取值会返回 400 错误，迁移时需要清理这些参数。其三，新的分词器会把同一段文本计为比 Haiku 4.5 多约 30% 的 token，这会直接抵消一部分单价降幅，因此「每百万 token 单价」与「每篇文档实际成本」必须分开核算[① MarkTechPost]。
成本结论由 Anthropic 自报：其称约 90% 的 Haiku 4.5 请求在 10 万 token 以内，计入分词器差异后估算 Haiku 5.5 平均便宜约 75%；基准方面，OSWorld 2.1（离线子集）得分 72.4%，GPT-6 Luna 为 48.9%，Haiku 4.5 为 15.7%，Terminal-Bench 4.0 为 39.2%，Luna 为 16.4%[① MarkTechPost]。落到企业云上，其价值在于沿用既有管控面：Amazon Bedrock 在提供能力的同时让数据保持在 AWS 基础设施内，并兼容 AWS IAM、CloudTrail、CloudWatch 与 Bedrock Guardrails，用量体现在 AWS 账单中[③ AWS ML Blog]。把这批公开参数整理为数据字典如下（日报原文为模型文档与官方博客描述，无自托管 API 名与函数签名）：
# 以下为根据公开摘要信息对 Claude Haiku 5.5 规格与定价的理解示意 # 具体实现请查阅 Anthropic 官方技术文档 haiku55 = { "context_window_tokens": 1_000_000, "max_output_tokens": 131072, # 128K "price_usd_per_mtok": { "input_le_100k": 0.10, "output_le_100k": 0.50, "input_gt_100k": 0.50, "output_gt_100k": 2.50, "cache_read": 0.01, "cache_write_5min": 0.125, }, "previous_gen_price_usd_per_mtok": {"input": 1.00, "output": 5.00}, "effort_param_default": "medium", # 自适应思考默认开启 "tokenizer_note": "same text tokenized ~30% more than Haiku 4.5", "non_default_sampling_note": "temperature/top_p/top_k 非默认值返回 400", "knowledge_cutoff": "2026-06", "batch_max_output_tokens": 300000, # beta }⚠️ 以上伪代码为根据公开信息对该技术逻辑的初步理解示意，具体实现请以官方文档为准。
主题二：零输出 token 的决策模型——d1 的三类问题与 Decisions API
生成式 LLM 逐 token 写出答案，再由你的代码解析；决策模型走的是另一条路：接收一个状态与一组具名问题，一次性读取后为每个允许答案返回概率。Liquid AI 发布的开放权重多模态决策模型 d1-3B 与 d1-omni-600M 都不生成文本，在单次前向传播中返回经过校准的、带类型的答案，输出 token 为零；d1-3B 有 31.2 亿参数，目标是 NVIDIA 技术栈上的实时决策，适用场景包括路由、内容审核、意图分类、重排序与智能体护栏，且都不是聊天模型[① MarkTechPost]。
d1 定义了三类问题：noul（是/否问题，返回 P(是)）、choice（从具名选项中选一个标签，附完整概率分布）、score（在 2 至 10 级有序评分表上的概率加权位置）。多个问题可在一次调用中共享同一状态，每次响应都会报告 output_tokens: 0。工程实现上，d1-3B 基于 LFM2.5-VL-3B：Liquid AI 把 LFM2.5-2.6B 的权重与该模型的文本骨干做平均，随后以不同随机种子与数据混合微调多个检查点并再次合并，使用 4 亿参数的 SigLIP2 NaFlex 视觉编码器与 32768 token 上下文；两个检查点都在 Hugging Face 上，可通过 Transformers 加载并支持首日 llama.cpp[① MarkTechPost]。另一条路径来自 OpenAI：其 Decisions API 已开放公开测试，通过 Responses API 做决策的速度最高可达 GPT-6 Luna 的 10 倍，价格每 100 万输入令牌 0.10 美元且不收缓存读取、缓存写入或输出令牌费用，支持判定式、选项与评分三类输出[④ TLDR AI]。返回结构可整理为数据字典（日报原文为概念描述，无官方 API 细节）：
# 以下为根据公开摘要信息对 d1 决策模型问题类型与返回结构的理解示意 # 具体实现请查阅 Liquid AI 官方技术文档 d1_question_types = { "noul": "yes/no question -> P(yes)", "choice": "pick one label from named options -> full probability distribution", "score": "probability-weighted position on an ordered 2..10 scale", "shared_state": True, # 多个问题可共享同一状态 "reported_output_tokens": 0, "model_specs": { "d1-3B": {"params": "3.12B", "context_tokens": 32768, "vision_encoder": "SigLIP2 NaFlex 400M"}, "d1-omni-600M": {"note": "早期研究版本，未公布延迟数据"}, }, "license": "LFM Open License v1.0（年营收 < 1000 万美元可免费商用）", }⚠️ 以上伪代码为根据公开信息对该技术逻辑的初步理解示意，具体实现请以官方文档为准。
主题三：按调用点做路由——9 个模型、5 个调用点的生产实证
智能体系统会发出若干结构上不同的 LLM 调用：路由意图、分类动作、把语言锚定到设备注册表、规划多智能体流水线，以及编写这些流水线运行的 Python 代码。这些调用点的难度相差一个数量级，但实践中却由为最难调用点选定的单一模型服务全部调用。论文在一个已部署的开源家居自动化框架的五个调用点上，用未经修改的生产提示与两个真实装置（280 个用例、2520 次计分调用），评测了从 0.8B 到前沿托管模型的 9 个模型[② arXiv cs.AI]。
结论有三条值得工程侧记下。其一，能力在各调用点上并不按同一顺序排列，更大的模型也并非一概更优：一个 4B 模型在接地执行上反而不如其 2B 同门。其二，配对检验显示最佳本地模型在五个调用点中的四个上与两个托管模型在统计上不可区分，只有代码生成拉开了差距，无论对小托管模型（p = 0.039）还是前沿模型（p = 0.002）。其三，总体准确率掩盖了执行环节特有的安全失效：小模型会以退化的方式处理准确率与拒答的权衡，其中一个模型对不属于该场景的设备仍执行了 87.2% 的请求，而另一个则拒绝收到的每一个请求。把每个调用点路由到其最佳本地模型可达 91.8%，对比 95.4%，且无按次调用成本；在由用户评判的实况部署中，只托管两个生成式调用点与托管全部调用点表现相当（43 例中 39 例对 43 例中 39 例），成本仅为 28%[② arXiv cs.AI]。市场侧的铺开速度同样可量化：上线一天之内，TypeSafe 的 Jev 决策模型已接入 Vercel 付费 AI 网关客户工作流的 13%，三天之内 Cloudflare、LangChain 与 Langfuse 已为其推出集成[⑤ TLDR]。评测配置可整理为数据字典：
# 以下为根据公开摘要信息对按调用点路由评测配置的理解示意 # 具体实现请查阅该论文发布的评测框架与记录 callsite_routing_eval = { "framework": "开源家居自动化框架（Wactorz）", "deployment": "两个真实 Home Assistant 装置", "call_sites": 5, "models": "9（0.8B 至前沿托管模型）", "cases": 280, "scored_calls": 2520, "local_best_accuracy": 0.918, "all_models_accuracy": 0.954, "live_deploy_cost_ratio": 0.28, # 仅托管两个生成式调用点 "note": "4B 模型在接地执行上不如其 2B 同门；代码生成是唯一显著差距", }⚠️ 以上伪代码为根据公开信息对该技术逻辑的初步理解示意，具体实现请以官方文档为准。
主题四：把可维护性做进集群与求解器——AICR v1.0 与 Meta Rebalancer
环境稳定性开始被当作配置问题处理。NVIDIA 的 AI 集群运行时（AICR）v1.0 为 GPU 加速的 Kubernetes 集群配置提供版本锁定且经验证的方案，以保证环境稳定[④ TLDR AI]。与之呼应的是 Meta 开源的 Rebalancer：一个带 Python 接口、用于求解分配问题的 C++ 库，决定在约束与目标下哪些对象放入哪些容器。其设计把「问题如何表述」与「问题如何求解」分离，规格语言分三层——建模构造（维度如 CPU 或存储、分区即对象分组、作用域即容器分组、利用率）、表达式 API（用 SUM 或 MAX 聚合利用率，或用 SQUARE 等操作变换）、规格 API（数十种预定义目标与约束）；Meta 的示例把任务建模为对象、服务器为容器、机架为作用域，用 CapacitySpec 限制每台服务器的 CPU 与存储，用 GroupCountSpec 保证每个机架只放一种作业类型，用 BalanceSpec 在两个维度上平衡每台服务器的利用率，最终把规格编译为有向无环表达式图[① MarkTechPost]。其工程含义值得单独指出：Rebalancer 解决的两大障碍是易用性与可扩展性——工程师难以把策略转化为精确公式，而许多问题属 NP 难且规模过大。它已在 Meta 内部承担资源分配超过 9 年，此次采用 Apache 2.0 许可发布，附文档、PyPI 包与调试界面，pip install rebalancer 可安装 v1.0.4，支持 Python 3.12+ 并提供 Linux x86-64 与 macOS 14+ ARM64 的预编译 wheel[① MarkTechPost]。
主题五：智能体的治理工程——Autoloop 与 Orion AI
企业侧的同日动作集中在「把治理做进流程」。Kore.ai 推出的 Autoloop 是一个面向客户自建 AI 智能体的优化引擎：由企业设定覆盖任务完成度、业务规则遵循度与成本等目标，Autoloop 依据企业既有的操作规程写出每个智能体的首版（含测试），随后持续迭代直到全部目标达成，智能体上线后真实交互会启动新一轮优化；每项拟议变更都会对照整套目标打分。其发现目标在何处失守由 StateTrace 评估层负责，修复由 Agent Blueprint Language 完成——该语言把路由、业务规则与护栏编译为可执行状态机，使轨迹中的每一步都能映射回蓝图的具体部分[⑥ SiliconANGLE AI]。这套机制对应的现状是：据《2026 Kore.ai 智能体生产力指数》，79% 的企业报告曾撤销 AI 智能体已采取的动作，有 70% 的企业遇到过其团队无法追溯的故障；其首席技术官兼首席产品官 Prasanna Arikala 表示：「你无法优化看不见的东西，也无法精确修复无法精确表达的东西。」[⑥ SiliconANGLE AI] 另一组数字来自 Cornerstone OnDemand 的 Orion AI：这套使用 Amazon Bedrock 与 Strands Agents（AWS 的开源智能体编排框架）的多智能体系统，由协调智能体向按中心辐射拓扑排列的专门化子智能体委派工作，把数据库诊断时间从 45 分钟降至 10 分钟，降幅 78%，由一个三人团队用六个月交付[③ AWS ML Blog]。两例的共同点是把可观测性与状态表达当作工程前置条件，而非事后补丁。
趋势判断
结合当日快讯，可归纳三个跨领域的技术趋势。
其一，单位成本与调用点粒度正在成为独立的选型指标。Claude Haiku 5.5 把输入价格拉到每百万 token 0.10 美元、10 万 token 以内比前代低 90%，但新分词器会把同一段文本多计约 30% 的 token，说明「单价」与「实际成本」必须分开核算[① MarkTechPost]；企业云侧的对照数字是多数任务成本比 Haiku 4.5 低约 75%[③ AWS ML Blog]；决策模型一侧则以「输出 token 为零」与每 100 万输入令牌 0.10 美元重新定义调用成本[④ TLDR AI][⑤ TLDR]。三者的共同指向是：选型时「模型有多大」已不足以描述成本，激活、输出粒度与调用点划分才是可比较的口径。
其二，决策输出正从文本转为结构化概率，调用链被拆成多段。d1 用是/否、具名选项与有序评分三类问题直接返回概率分布，且每次响应报告 output_tokens: 0[① MarkTechPost]；Decisions API 同样以判定式、选项与评分三类输出提供决策能力[④ TLDR AI]；而按调用点评估证明，把每个调用点路由到最佳本地模型可达 91.8%、对比 95.4%，成本仅为托管全部调用点的 28%[② arXiv cs.AI]。也就是说，调用链的每一段都可以独立选型，但可观测性需要在架构层重新设计。
其三，治理与数据正被当作独立工程组件，并同步进入定价。Kore.ai 用 StateTrace 与蓝图语言把「看不见的故障」变成可定位的轨迹[⑥ SiliconANGLE AI]，Cornerstone 用多智能体编排把诊断时间压缩 78%[③ AWS ML Blog]；资本侧的对照同样明确：机器人数据初创公司 Mecka AI 获红杉资本 6000 万美元投资，其业务是收集并分析人体运动数据用于训练机器人[⑦ TechCrunch]；Google DeepMind、Meta 与 Isomorphic Labs 共同向 Biohub 牵头的「虚拟细胞」计划投入 3 亿美元，属于规模 18 亿美元的「虚拟生物学」计划，目标是构建使研究者能以数字方式提问与预测的 AI 数据集[⑧ The Verge AI]。数据与治理层的投入正在被单独计价，而不是附属于模型能力。
结尾
今日技术的共同取向是「把账算清、把边界摊开」：小模型把量产调用接走并留下分词器这个隐藏变量，决策模型把输出从文本改成概率，路由把单一模型拆成一组调用点，集群配置与求解器则把可维护性变成版本化资产，智能体治理用评估层与蓝图语言回答「故障在哪一步」。后续可关注两点：其一，单位成本与调用点粒度会不会进入模型选型的标准清单；其二，当调用链被拆成多段，状态表达与可观测性该由谁提供。
【资讯来源】本文综合整理自 MarkTechPost、arXiv cs.AI、AWS ML Blog、TLDR AI、TLDR、SiliconANGLE AI、TechCrunch、The Verge AI 等公开信息源。 ① MarkTechPost, 2026年10月08日 04:38 北京时间 / 10月07日 13:38 美西时间 ，② arXiv cs.AI, 2026年10月08日 12:00 北京时间 / 10月07日 21:00 美西时间 ，③ AWS ML Blog, 2026年10月08日 02:52 北京时间 / 10月07日 11:52 美西时间 ，④ TLDR AI, 2026年10月07日 21:41 北京时间 / 2026年10月07日 06:41 美西时间 ，⑤ TLDR, 2026年10月07日 18:58 北京时间 / 2026年10月07日 03:58 美西时间 ，⑥ SiliconANGLE AI, 2026年10月08日 10:49 北京时间 / 10月07日 19:49 美西时间 ，⑦ TechCrunch, 2026年10月08日 07:36 北京时间 / 10月07日 16:36 美西时间 ，⑧ The Verge AI, 2026年10月07日 22:40 北京时间 / 2026年10月07日 07:40 美西时间
【免责声明】 本日报为AI行业每日公开信息汇总整理，仅供读者快速了解行业动态，不构成任何投资建议。所有信息均来源于公开渠道，本账号不对其准确性、完整性和时效性作出任何保证。AI行业技术与政策变化迅速，内容发布后可能发生更新，请以官方最新信息为准。据此作出的任何决策，全部风险自担。
© 2026 林伽一 · AI科技日报
#小模型推理成本 #决策模型 #按调用点路由 #智能体治理 #MoE与集群配置
