StartLux-Decision 38 项基准碾压 Jev 31 项：开源决策模型要换天了？

StartLux-Decision 38 项基准碾压 Jev 31 项：开源决策模型要换天了？

【免费下载链接】openjev项目地址: https://ai.gitcode.com/hf_mirrors/AlexWortega/openjev

2026 年 9 月底，上海原点星辉（StartLux）开源决策模型系列 StartLux-Decision，以 "38 项基准中 31 项高于 Jev 1.13" 的声势冲进 Jev 掀起的决策模型赛道。在此之前，这个品类的叙事几乎由 Jev 独占：不生成文本、只输出结构化判断、毫秒级响应，"System One 决策引擎" 成为 2026 年下半年最热的 AI 架构话题之一。StartLux 的出现，第一次让"开源决策模型超过 Jev"从口号变成了一张可逐项核对的成绩单——同时也把一个问题摆到台面上：31/38 的领先，到底含金量几何？本文结合社区榜单口径、厂商自述与开源仓库 openjev 的源码实践，拆解这组数字背后的评测设计、数据边界与工程启示。

Decision Index 0.2.1：38 项基准从哪来，分数怎么算

要理解 "31/38"，先要看 38 项基准是什么。StartLux 官方公布的成绩基于Decision Index 0.2.1：27B 档综合得分 63.88，高出当日公开榜单最高分 Jev 1.13（57.91）5.97 分；9B 档 58.63 也高于 Jev。Decision Index 是一个社区维护的榜单项目，定位是追踪 "Jev 的开放复现版"，评测代码 MIT 许可、任何人可自行运行——这是它的价值所在，但也是口径问题的高发区。

把这组数字摊开，有三个限定缺一不可：

• 评测工具与题集是第三方冻结的，可复现：Decision Index 与 StartLux 无利益关联，与 Jev 持有方也无关联，工具链本身可信；
• 跑分的是厂商自己，结果未上榜：StartLux 的分数是自己下载评测工具运行所得，官方 README 明确写了 "our runs are not on the board"，未经榜单方复核；
• 对照组来自榜单快照，不是同一次运行：Jev 1.13 的 57.91 取自 2026-09-28 的公开快照，与 StartLux 的自测分数存在评测环境差异。

更关键的一条数据边界写在官方表格的脚注里：38 项基准中，有14 项（以 † 标记）的公开训练集参与了 StartLux-Decision 的训练，对应测试题已从训练数据中过滤。官方主动披露这一点是加分项，但读者必须把它读成：31 项领先里，有 14 项所在的基准与其训练数据存在同源关系。此外，Decision Index 的每个格子都经过随机基线校正（chance-corrected，0% 代表随机猜测），带 ★ 的基准权重为 1.2，综合分是加权均值而非简单平均——拿它和 raw accuracy 表格混读，会得出错误结论。

在这个口径体系之外，还有另一组更接近"原始准确率"的数字：公开 JevBench 231 题（Easy 48 / Original 72 / Hard 111）。StartLux-Decision-27B 答对 208 题，Jev 1.13 答对 199 题；其中 Hard 层 111 道难题，27B 错 23 题、Jev 错 31 题，差距集中在难题层——Easy 层双方都是满分 48。上海 AI 实验室发布 Intern-Decision 时采用的七项评测中，27B 平均准确率 91.82%，高于 Jev 的 88.74% 与 Intern-Decision-4B 的 90.02%。需要说明的是，231 题并非官方 JevBench 总分：后者还包含密封层、速度与成本，且只由维护方测量。

31/38 的含金量：场景代表性 vs 刷榜嫌疑

"31 项高于 Jev" 是一个总计数，拆开看，领先的来源并不均匀。官方给出的分领域得分中，语言理解 74.5 对 62.0、检索与分类 66.8 对 55.4、工具与自动化 82.2 对 75.1，StartLux-Decision 全面领先；但知识与推理领域是 Jev 1.13 领先：44.3 对 51.4，API-Bank 等单项也未能反超。这意味着"综合领先"不等于"能力全面领先"，决策模型的选型仍应回到具体任务：你的智能体是频繁处理条件理解、候选区分与工具选择（StartLux 的强项），还是依赖深度的知识推理与数值判断（Jev 的保留地）？

有两组细节比总分更能说明问题：

第一，规模与准确率并不单调。在公开 JevBench 231 题上，4B 档答对 204 题，高于 9B 档的 201 题；七项评测中 4B（91.17%）也略高于 9B（91.08%）。"档位越高越准"在这条产品线上不成立，按任务挑档必须靠实测而非参数排序。

第二，延迟是独立维度，最高分不等于最快。官方公布的单卡 H200、BF16、短请求（一次回答三个问题）时延为：0.8B 12.2ms、2B 15.5ms、4B 26.0ms、9B 35.7ms、27B 102.3ms、35B-A3B 52.5ms。27B 不仅不是最快的，102.3ms 还慢于 Jev 1.13 的 64.0ms——尽管后者的 64.0ms 是 API 网关上报的服务端耗时，与 H200 本地测试并非同一统计口径，不能直接相减。同型号内部，4B 档开启 CUDA Graph 从 90.3ms 降到 26.0ms，说明工程优化对决策延迟的贡献甚至大于换档。另外值得一提的是量化复测：4B 档 Q8_0 在 231 道公开题上与原始权重决策一致率 100%，Q4_K_M 为 98.3%，但在 0.8B 与 2B 小档位上，Q4_K_M 的一致率掉到 93.1% 与 94.4%——小模型上省下的显存会直接换成答案变化率。

把这些限定放回 "31/38" 的表述中，可以得出一个相对公允的结论：这组数字不是第三方认证的"全面碾压"，而是"同一套第三方题集上，厂商自测的逐项对比，其中多数领先、少数落后，且领先项与训练数据存在部分同源"。它的价值不在于"换天了"三个字，而在于决策模型第一次有了可复现的逐项对比基准——任何人都能下载 Decision Index 自己跑一遍。这比任何总分都更接近真相。

对 openjev 与开源决策模型阵营的启示

StartLux-Decision 的发布恰好落在这个品类的结构性拐点上：当不止一家开源实现宣称"超过 Jev"时，胜负手已经从模型能力转移到评测可信度与部署成熟度。仓库 openjev 的实践恰好示范了开源阵营应当如何应对这三重拷问。

其一，接口形态在收敛，开放实现可以共用同一协议。Jev 定义了 noul / choice / score 三种问题类型与"状态 + 问题"的调用原语，StartLux-Decision 采用 TypeSafe 的/v1/systemone接口并兼容原有 Jev 客户端数据结构；而 openjev 的 serving 网关同样实现了/v1/systemone（见 decisions_server.py），并通过 openjev_decide.py 直接充当 JevBench 的local_openjev适配器——每个选项变成一条 hypothesis，用 P(entailment) 归一化得到选项分布（README.md 中声明为probability_method: normalized_entailment_v1）。三条不同的开源路径指向同一个接口形状，意味着决策模型正在形成事实标准，这对生态是好事：应用层不必为每家重写集成。

其二，评测口径的诚实度，正在成为开源模型的分水岭。openjev 在这一点上做得相当激进：RESULTS-v5.md 开篇即声明 v5 训练混合包含了 MMLU、ARC、GSM8K 等基准的 TRAIN 和 TEST 划分，完整清单写在 panel_manifest.json，并明确写道"这些基准上的数字对这个 checkpoint 毫无意义，不予报告"；数据构建器 data_mix.py 内置BANNED集合，从训练管线层面拒绝任何评估集渗入。反观 StartLux 的 † 标记披露，二者殊途同归：披露边界本身成为可信度的第一道门槛。对读者而言，面对任何"碾压"宣称，第一件事是查三样东西——评测是否第三方复核、训练数据与基准是否同源、对照是否同一次运行。

其三，确定性是决策模型的"隐性契约"，必须被显式测量。决策模型的价值前提是"同一输入永远给出同一判断"。openjev 用 order_test.py 在全部 231 道公开 JevBench 题上做了四重测试（同序复跑、反转、打乱）：标签翻转 0/231，最大概率变化 1.8e-7 量级；StartLux 则用量化复测报告决策一致率。两个阵营不约而同把"确定性"写进评测，说明这个品类正在建立自己的工程纪律。

最后回到 openjev 的能力画像：同为 Qwen3.5 基座的决策模型，openjev 在 JevBench 公开题上的成绩（4B v5 全公开 0.814、hard 0.622，同 231 题上 Jev 1.13 为 0.87）说明，Jev 在难题层仍然保有明确优势，而开源实现的主战场是"够用的判断 + 可部署的成本 + 可验证的口径"。StartLux-Decision 的真正冲击，不在于把 Jev 从某个榜单第一挤下来，而在于它把决策模型的选型问题从"谁更准"改写成三个工程问题：哪一档配哪一类任务、许可能不能用（其权重为 CC BY-NC 4.0、商业需单独授权，代码为 Apache-2.0）、部署要占多少显存与哪些内核依赖（flash-linear-attention与causal-conv1d缺一不可，且判定逻辑不在 GGUF 权重内，需额外 server 层）。当一道题的答案必须由这三行共同决定时，"换天"与否已经不重要了——开源决策模型阵营真正要竞争的，是让这三行成本曲线变得透明、可预期、可复现。

【免费下载链接】openjev项目地址: https://ai.gitcode.com/hf_mirrors/AlexWortega/openjev