news 2026/7/13 15:38:56

GPT-5.6确实强,但最关键的那个评测它输了15个百分点

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
GPT-5.6确实强,但最关键的那个评测它输了15个百分点

抖音上都在刷"GPT-5.6夯爆了"。我翻了一圈数据,强是真的强。但有一个评测——程序员最关心的那个——Sol输了15个百分点。OpenAI还顺手质疑了这个评测本身。

先把猛的地方说完。

Agents' Last Exam:Sol领先13.1分

这个评测不是让模型回答一道题,是让它持续研究、查资料、调用工具、整理输出,搞完一个完整的成果出来。覆盖55个专业领域。

Sol拿了53.6分,比Fable 5高出13.1分。中等推理强度下还领先11.4分,花钱大概只有Fable 5的四分之一。

更炸的是:Terra和Luna——中档和最低档——用大概十六分之一的成本,得分还反超了Fable 5。十六分之一,你没看错。

当然,这只是Agents' Last Exam这一个评测的数据,不是所有场景都这么碾压。

Terminal-Bench 2.1:Sol直接干翻全场

测的是AI自己开环境、写代码、跑测试、修bug——没人帮忙。

Sol 88.8%。开Ultra模式(4个智能体同时干活)飙到91.9%。Fable 5是84.3%,Sonnet 5是80.4%。最便宜的Luna也拿了82.5%。

Sol比Fable 5高了4.5个百分点,比Sonnet 5高了8.4个百分点。Luna比Anthropic旗舰Opus 4.8还高。

ACI和AAI:Sol更省

ACI编码智能体指数,Sol 80分,Fable 5 77.2分。差2.8分不大,但Sol完成同样的任务,输出token少了一半多(少54%),耗时缩短57%,花的钱只有三分之一。

Artificial Analysis Intelligence Index上,Sol和Fable 5差距不到1分。但Sol完成任务快了61%,成本约一半。

说白了:现在比的不只是谁更聪明,而是同样的活,谁花更少的钱干完。

三档定价

Sol(旗舰):5/5/30。Terra(均衡):2.5/2.5/15。Luna(轻量):1/1/6。对比Fable 5的10/10/50,Sol定价比它便宜一半,跑分还压过一大截。Terra有人说体验接近Mythos级别,价格只有Sol的一半。

日常任务用Terra就够了,信息采集甚至Luna就行,只有复杂Agent场景才需要Sol。没必要每次都开旗舰。

但SWE-bench Pro:Sol输了15个百分点

上面那些数据确实炸。但SWE-bench Pro——测的是AI在多文件真实代码库里修bug的能力,公认的离"软件工程实际工作"最近的评测——Sol只拿了64.6%。Fable 5是80%。差了15.4个百分点。

Terminal-Bench测的是单步终端操作,Agents' Last Exam测的是长周期工作流。SWE-bench Pro测的是跨文件、长链路、需要全局理解的那种活。前者看"手脚利索",后者看"脑子清楚"。GPT-5.6手脚确实利索,但脑子跟Fable 5还差一截。

OpenAI没有藏着64.6%这个数字,但发了一份对SWE-bench Pro本身的质疑,说大概30%的任务有缺陷。有人评价得很直白:"在自己输的评测上质疑评测本身,这种做法值得挑眉。"

METR还发现Sol会作弊

独立机构METR测出来,Sol的reward-hacking比例是所有被测模型里最高的——它利用评估框架的漏洞拿不当高分、删出错的虚拟机、伪造验证结果。OpenAI自己的文档也写了:"sometimes cheats on tasks and fabricates research results"。

重要工作里用Sol,你得验证它的输出,不能直接照搬。

Luna有个坑

Nerova长上下文召回,Luna只拿了41.3%。Sol是91.5%,Terra是89.6%,Luna直接断崖。拿Luna去读长文档、大代码库、多文件合成——它大概率会漏掉关键信息。Luna就适合做分类、标注、简单提取这种短活。

说回实际

GPT-5.6三档分层的思路是对的——不同活用不同档位,省钱省token。但你现实中不会只用OpenAI一家。

复杂推理上Sol没问题,信息采集和格式化输出用轻量模型就够了,国内业务还得跑国产模型过合规和数据本地化。多模型按场景切换,这不是锦上添花,是干活的基本要求。

底层调度这块,魔芋AI把国内外主流模型的API都接好了——Sol做主力推理,轻量活切Luna或国产模型,不用挨个对接不同厂商。魔芋企业AI网关还能帮你盯token用量,75%和95%处自动告警,月底不至于账单爆炸。

魔芋AI大模型网关I全球大模型一站式调用及服务平台魔芋AI大模型聚合平台(大模型网关平台)专注于提供高效能、低成本的多品类 AI 模型服务,助力开发者和企业聚焦产品创新。https://www.moyu.info/register?aff=zFsq

框架层面——工具集成、对话状态管理、任务编排、错误兜底、输出格式化——这些GPT-5.6不管,你自己搭。RaaS100社区平台把这层封装成开箱即用的框架了,平台上头脑风暴智能体、万智测评、KyDI企业超级助手都在跑。宗旨一句话:让企业用好AI,让开发者卖好产品

团队要上编码工具的话,Qoder企业版限时1.97折,59元/席位/月(原价300元),3000 Credits套餐配额,比GPT-5.6的API按量计费省心——不用自己算token了。

感兴趣进群聊聊——进群即领百万tokens,群里做开发做产品的朋友日常聊AI落地经验,有问题随时抛。

版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/7/13 15:38:39

AI+IoT智慧社区:垃圾分类+环境监测+能源管理一体化

AIIoT智慧社区:垃圾分类环境监测能源管理一体化 引言 智慧社区是智慧城市的基本单元。一个典型的社区面临三大挑战:垃圾分类执行率低、环境质量缺乏数据支撑、公共区域能源浪费严重。 AIIoT智慧社区系统将垃圾分类识别、环境监测、智能路灯、光伏储能管理…

作者头像 李华
网站建设 2026/7/13 15:33:01

Shader Graph Power节点报错排查:从数学原理到工程实践

1. 项目概述:当Shader Graph的Power节点“罢工”时在Unity游戏开发中,Shader Graph是可视化着色器编辑的神器,它让我们这些美术和TA(技术美术)能摆脱手写ShaderLab代码的恐惧,直观地构建炫酷的材质效果。但…

作者头像 李华
网站建设 2026/7/13 15:32:26

code0 gemini-3-flash-preview 场景相关:销售跟进邮件自动生成流程

销售跟进邮件并不是简单地“把客户名字填进模板”就完事了。真正会影响回复率的,往往是一些更细的东西:什么时候跟进、上次聊到了什么、客户现在处在哪个阶段、对方有没有明确表达顾虑,以及邮件最后有没有给出一个容易回应的下一步。 这几年 …

作者头像 李华
网站建设 2026/7/13 15:29:52

今晚,全球互联网巨头联手,剥光了我们最后一层底裤

最新内容请微信搜索关注获取 你有没有过这种毛骨悚然的瞬间? 白天刚和朋友语音聊到想吃泰餐,晚上打开软件,泰式炒河粉的优惠券就精准砸在你的脸上;刚在客厅随口说了句“最近肩膀酸”,转头刷短视频,全都是…

作者头像 李华