封面:大数字海报 + 纸白,数字为 Hugging Face 显示的 Qwen3.8-27B 上月下载量,条形为三家官方公布的 GPQA Diamond 分数,由本号封面脚本生成。
Hugging Face 上赞数最多的千问,不是几百 B 的大模型,而是一个 27B 的「中杯」:Qwen3.8-27B,17821 个赞,上个月下载 7,516,626 次。参数小了一个数量级,为什么大家反而最爱它?
先说结论:手里是一张 24GB 显卡(4090、3090 这一档),想在本地跑一个什么活都能干的模型,首选 Qwen3.8-27B。三家官方公布的同项跑分里它都排第一,协议是最宽松的 Apache-2.0,中文生态也最全。英伟达本周刚发的 Nemotron 3.5 Bolt 适合 RTX Spark 这类新机器、主要做英文 Agent 任务的人;谷歌 Gemma 4 31B 适合要做多语种、想拿稳定底座来微调的团队。显卡只有 16GB 甚至 8GB,Bolt 直接出局,另外两家也只能退到低精度版本。
下面三张表,把这个结论拆开讲。本文是资料整合,所有跑分都是各家官方数据,我们没有在本地跑这三个模型。
17821 个赞背后:27B 为什么成了最多人下载的 Qwen
[官方图] Qwen3.8-27B 的 Hugging Face 模型页:17.8k 赞、上月下载 7,516,626 次、协议 apache-2.0。截于 2026-10-16 21:00(北京时间)。图源:Hugging Face Qwen3.8-27B 模型页
大家爱它,说白了就三点:
- 一张卡装得下。27B 是稠密模型,量化到 4 bit 后模型文件 16.5GB,放进 24GB 显存还有余量。比它大的模型要两张卡或者租云服务器,比它小的模型能力又差一截。
- 能干的活多。模型卡写的是「原生视觉语言模型」:能看图、能看视频,还能写代码、操作电脑。思考模式默认打开,可以按请求关掉;用
reasoning_effort在 xhigh、medium、low 三档之间调思考深度。 - 协议省心。Apache-2.0,商用、改造、二次分发都不用另外申请。
它的底子也值得说一句。27B 用的不是传统的「每层都做全注意力」,而是 3 层线性注意力配 1 层全注意力,循环 16 组:
[源码推导] 依据 Qwen3.8-27B 模型卡 Model Overview 中的 Hidden Layout(16 × (3 × Gated DeltaNet → 1 × Gated Attention))绘制,非官方原图。来源:Qwen3.8-27B 官方模型卡
用大白话讲:线性注意力那 3 层负责「省」,文本越长越省显存;每 4 层插 1 层全注意力负责「准」,长文里找某句话不容易漏。所以它原生就支持 262,144 个 token 的上下文,用 YaRN 还能扩到约 100 万。对本地用户来说,这意味着同样一张卡,能塞进去的文档更长。
同档三选一:官方跑分摆一起看
先把对手介绍清楚:
- Nemotron 3.5 Bolt 74B-A9B 24GB:英伟达 2026-10-15 在 Hugging Face 发布。总参数 74B,但每次只激活 9B(MoE 结构);官方直接用原生 2-bit 量化把它打包成 24GB,主打「在 24GB 内存里跑日常 Agent 任务」,首发配的是 10 月 16 日上市的 RTX Spark 笔记本。
- Gemma 4 31B:谷歌今年 4 月发布的 31B 稠密模型,256K 上下文,Apache-2.0。谷歌技术报告称它是 Arena 文本榜上排名最高的稠密开源模型。
三家都公布了不少跑分,但能直接对上的只有几项。我们只挑出同名的基准放进一张表:
[框架示意] 按三家官方模型卡整理的同名基准;评测设置不完全相同,只适合看量级。来源:Qwen3.8-27B 模型卡、NVIDIA Nemotron 3.5 Bolt 模型卡、Gemma 4 官方模型卡
| 基准(考什么) | Qwen3.8-27B | Nemotron 3.5 Bolt 24GB | Gemma 4 31B | 数据出处 |
|---|---|---|---|---|
| GPQA Diamond(研究生级理科题) | 89.2 | 86.43 | 84.3 | 各自官方模型卡 |
| Terminal-Bench 2.1(在终端里完成任务) | 73.0 | 50.98 | 37.22(26B-A4B) | Qwen 模型卡;NVIDIA 模型卡 |
| HLE(超难综合题) | 30.8 | 25.30 | 19.5 | 各自官方模型卡,判分方式不同 |
| LiveCodeBench v6(算法编程) | 90.3 | 未公布 | 80.0 | Qwen 模型卡;Gemma 4 模型卡 |
表格说明:全部为官方数据。Terminal-Bench 这一格,谷歌没公布 Gemma 4 31B 的成绩,表里是 NVIDIA 模型卡给 Gemma 4 26B-A4B 的分;HLE 上 Qwen 由 GPT-4o 判分,另两家是「不联网」设置。
看这张表要抓两点:
- 差距最大的是「在终端里干活」。Terminal-Bench 2.1 考的是让模型自己敲命令、改文件、跑测试,Qwen3.8-27B 的 73.0 比 Bolt 高出 22 分。想让本地模型接 Claude Code、OpenCode 这类编程工具替你干活,这一项最该看。
- 理科题差距不大。GPQA Diamond 三家都在 84~89 之间,日常问答你很难感觉出区别。
英伟达自己的对比图里没有放 Qwen3.8-27B,比的是上一代 Qwen3.6-35B-A3B 和 Gemma 4 26B-A4B:
[官方图] NVIDIA 在 Bolt 模型卡里给出的 13 项对比,绿色为 Bolt 24GB。注意对手是 Qwen3.6-35B-A3B 和 Gemma 4 26B-A4B,不是本文主角。图源:NVIDIA Nemotron 3.5 Bolt 74B-A9B 24GB 模型卡
这张图里 Bolt 的强项很清楚:BrowseComp(上网查资料)66.75,远高于同图其他模型;PinchBench 87.82,英伟达称是同级开源模型第一。如果你的需求是「本地跑一个会上网查资料的 Agent」,Bolt 值得认真看。
显存账:24GB、16GB、8GB 各能跑到哪一档
跑分再好,装不进显卡也白搭。下面这张表只算模型文件大小,用的是社区最常用的 Unsloth GGUF 量化版:
[框架示意] 文件大小取自 Hugging Face 上 Unsloth 发布的 Qwen3.8-27B-GGUF、gemma-4-31B-it-GGUF 文件列表,以及 NVIDIA Bolt 模型卡,查询于 2026-10-16。来源:Unsloth GGUF 文件列表、NVIDIA Bolt 模型卡
| 量化档位 | Qwen3.8-27B | Gemma 4 31B | Nemotron 3.5 Bolt |
|---|---|---|---|
| 8 bit(几乎无损) | 29.0GB | 32.6GB | 无 |
| 6 bit | 22.0GB | 25.2GB | 无 |
| 5 bit | 19.8GB | 21.7GB | 无 |
| 4 bit(最常用) | 16.5GB | 18.3GB | 无 |
| 2 bit | 8.4GB | 8.5GB | 24GB(官方唯一版本) |
翻译成人话:
- 24GB 显卡:Qwen3.8-27B 可以上 5 bit(19.8GB),剩下的显存留给上下文,最舒服;Gemma 4 31B 用 4 bit(18.3GB)够用;Bolt 的 24GB 包正好卡在线上。英伟达说的「24GB 可跑」,首发对象是 RTX Spark、DGX Spark 这类大内存新机器,普通 24GB 独显上还要给上下文留空间,会比较紧。
- 16GB 显卡:Qwen 的 4 bit 小号版 15.4GB、Gemma 的 3 bit 14.7GB,都是勉强塞进去,上下文开不长。Bolt 放不下。
- 8~12GB 显卡:只能用 2 bit 版(8.4GB 左右),能聊天,但质量会明显下降。这一档建议直接换更小的模型,或者用云端 API。
注意:上面只是模型文件大小,实际运行时还要加上上下文缓存和系统占用,建议留出 2~4GB 余量。
中文、代码、长上下文:各自的强项和短板
[框架示意] 依据三家官方模型卡与 Hugging Face 页面 license 字段整理,查询于 2026-10-16(北京时间)。来源:三家官方模型卡
一家一句点评:
- Qwen3.8-27B:全能,短板是「贪」。思考模式默认开、默认最高档 xhigh,官方建议给思考留到 262,144 个 token 的输出上限。本地跑的时候,简单问题记得把思考关掉或调到 low,否则一句话也要想半天。
- Nemotron 3.5 Bolt:Agent 型选手,短板是中文。模型卡列出的语言是英、西、法、德、意、日六种,没有中文;部署方面,官方 vLLM 方案写的是 A100、H100 和 Blackwell,消费级显卡主要靠 llama.cpp、Ollama、LM Studio。协议是 OpenMDW-1.1,英伟达写明可以商用。
- Gemma 4 31B:稳,短板是「慢一代」。4 月发布,Agent 和终端编码类的分数落后于本周两款新模型;但多语种成绩好(MMMLU 88.4),Apache-2.0,生态工具第一天就齐,拿来微调做垂直模型很合适。
长上下文三家都在 256K 左右,Qwen 能用 YaRN 扩到约 100 万 token,是唯一明确写了百万上下文方案的。
谁该选 Qwen3.8-27B,谁该看别家
适合直接上 Qwen3.8-27B 的人:
- 一张 24GB 显卡,想要一个中文好、能写代码、能看图的本地主力模型;
- 想接本地编程 Agent(终端任务分数三家最高);
- 要商用,又不想研究复杂协议。
不适合、建议看别家的情况:
- 用的是 RTX Spark、DGX Spark 这类新机器,主要做英文资料检索和网页 Agent:先试 Nemotron 3.5 Bolt;
- 要做多语种产品,或者要拿稳定版本做长期微调:Gemma 4 31B 更稳妥;
- 显卡只有 8GB:三家都不建议,换小模型或用 API。
使用建议
- 先 4 bit,再往上加。24GB 卡从 Q4_K_M(16.5GB)起步,跑顺了再试 Q5_K_M(19.8GB)。
- 思考档位按任务调。聊天、改写用 non-thinking 或 low;写代码、做 Agent 任务再用 xhigh。官方也提醒,多轮 Agent 任务里调低思考档位不一定更快,可能因为想得少反而多返工。
- 采样参数照官方抄。思考模式 temperature=1.0、top_p=0.95;非思考模式 temperature=0.7、top_p=0.8、presence_penalty=1.5。
- 跑分只当参考。表里每个分数都是厂商自己测的,评测设置也不一样,最终以你自己的业务题为准。
其他扩展
RuoyiOffice 是一套面向中小企业的企业管理一体化平台,思路是「一个平台管好整个企业」:不用再分别采购 OA、人事、客户管理、进销存好几套系统,数据在一个平台里打通。它的核心特性有这几块:
- 业务全覆盖,按需启用:OA 协同、流程审批、人力资源、客户管理(CRM)、进销存(ERP)、资产管理、仓储管理、企业商城、数据报表、物联网等十余个子系统,模块化组合,用到哪个开哪个。
- 可视化流程引擎:仿钉钉、飞书的流程设计器,同时支持 BPMN;会签、或签、依次审批,抄送、转办、委派、加减签,父子流程和超时提醒都有,请假、入职、转正、调动、离职这类单据都能走线上审批。
- PC 端加移动端:PC 端基于 Vue 3,移动端基于 UniApp,审批、打卡、待办、公告、企业云盘在手机上也能处理。
- 微服务架构:后端基于 Spring Boot 和 Spring Cloud Alibaba,网关、注册配置中心、消息队列齐全,各模块可以独立部署、按需扩展。
- 内置 AI 能力:可对接 DeepSeek、通义千问等大模型,提供 AI 对话、写作、绘图、知识库问答和思维导图。
- 企业级底座:多租户、细粒度的角色和数据权限、单点登录,还有代码生成器,二次开发省事。