12.4 GiB 到 51.8 GiB 怎么选？Coder390 八大量化档位 BPW 与显存对照清单-平芜编程栈

基础模型
大模型
多模态
模型量化
模型评测
本地部署

【免费下载链接】Qwen3.8-27B-Coder390-EfficientThink-Opus5.5-GPT6Astra-Grok4.7-DSV4Pro-K3-SFT-RLOO-MTP-DFlash2

项目地址：https://ai.gitcode.com/hf_mirrors/nerkyor/Qwen3.8-27B-Coder390-EfficientThink-Opus5.5-GPT6Astra-Grok4.7-DSV4Pro-K3-SFT-RLOO-MTP-DFlash2

点击查看免费下载

Coder390（Qwen3.8-27B-Coder390-EfficientThink）提供从 12.4 GiB 到 51.8 GiB 的八大量化档位。本文用一张BPW（每权重比特数）与显存对照清单，帮你在 GGUF、NVFP4、INT4、INT8、FP8、BF16 之间快速选到适合自己的量化档位与显存方案，不踩显存不足的坑。

先搞懂：Coder390 是什么模型？

在选档位之前，先一句话认识它：

Coder390是基于官方 Qwen3.8-27B 继续做多轮 SFT + RLOO 后训练的27B 多模态推理模型（文本 + 图像/视频）。
主打"专治停不下来"：原版写满 94K 上下文也不给最终答案的问题，被大幅修好（LCB 的 94K 截断从 13 降到 3）。
同一份权重，被打包成BF16、静态 FP8、NVFP4、INT8、INT4、GGUF等多种量化档位，越大越准、越小越省显存。

结论先行：分数最高的是 BF16 / 静态 FP8，显存最省的是 GGUF Q2。中间档位各有取舍，下面一张表讲清楚。

BPW 是什么？为什么别只看"4-bit / 8-bit"

新手常被"Q4""W8A8""FP8"这类标称位宽绕晕。原因是：每个档位都是混合精度（不同层用不同位宽），标称值会误导。

BPW（bits per weight，每权重比特数）才是整包真实的平均位宽：

主模型权重文件总字节数 × 8 ÷ 总参数数

所以BPW 越低，单位体积塞进的质量越少（越省显存）；BPW 越高，越接近原始精度。看清单时，把 BPW 当"显存成本标签"来理解最直观：

直觉	典型 BPW	代表档位
几乎无损	9.0 ~ 16.0	BF16、静态 FP8
轻度压缩	5.0 ~ 8.8	INT8、GGUF Q8/Q6、INT4
高压缩	3.9 ~ 5.9	GGUF Q2/Q4、NVFP4

八大量化档位 BPW 与显存对照清单 📊

这是从51.8 GiB（BF16）到 12.4 GiB（GGUF Q2）的 8 个代表档，覆盖全部主流量化家族，按包大小从大到小排列：

档位	目录	包大小	BPW	GPQA/MMLU/LCB	加载引擎
BF16（原始精度）	BF16/	~51.8 GiB	16.00	178/446/90	SGLang（多模态免补丁）
静态 FP8 Block128	FP8/	~31.4 GiB	9.00	178/450/90	SGLang / vLLM（冒烟）
INT8 W8A8	INT8/W8A8/	~28.3 GiB	8.77	175/450/91	仅 vLLM
GGUF Q8_0	GGUF/	~27.1 GiB	8.51	171/443/90	llama.cpp / NInfer
GGUF Q6_K	GGUF/	~21.6 GiB	6.79	174/448/91	llama.cpp / NInfer
NVFP4 W4A16	NVFP4/W4A16/	~19.2 GiB	5.93	170/439/91	SGLang
INT4 W4A16	INT4/W4A16/	~18.1 GiB	5.25	177/446/87	仅 vLLM
GGUF Q2 LynnStyle	GGUF/	~12.4 GiB	3.89	177/433/90	llama.cpp / NInfer

几个一眼能看出的规律：

想分数最高：BF16 / 静态 FP8（178 分 GPQA，MMLU 高达 450），但显存最吃紧。
想显存与平衡兼顾：INT4 W4A16（18.1 GiB）和 GGUF Q2（12.4 GiB）是"小显存扛大模型"的性价比之选，GPQA 仍有 177。
分数与体积的"甜蜜点"：INT8 W8A8（28.3 GiB / BPW 8.77）在三项上都很稳，MMLU 拿满 450。

其他档位速查（想更细时再看）

清单里没单列、但同样常用的档位，按 BPW 归位：

档位	目录	包大小	BPW	说明
NVFP4 W4A4	NVFP4/W4A4/	~19.2 GiB	5.93	权重+激活都 NVFP4，SGLang 加载
NVFP4 W4A4-W8A8	NVFP4/W4A4-W8A8/	~22.1 GiB	6.84	MLP 用 NVFP4，注意力用 FP8，混合精度
NInfer W4A4 / W4A4-W8A8	NVFP4-NInfer/	~22.1 GiB	6.76	`.ninfer`包，仅 NInfer 引擎可加载
INT8 W8A16	INT8/W8A16/	~28.3 GiB	8.76	GPTQ INT8，仅 vLLM
GGUF Q3 / Q4 LynnStyle	GGUF/	16.1 / 18.3 GiB	5.07 / 5.75	介于 Q2 与 Q6_K 之间

提示：.ninfer包只有 NInfer 引擎能读，safetensors（BF16/FP8/NVFP4/INT4/INT8）走 SGLang/vLLM，GGUF 走 llama.cpp / NInfer——引擎不通用，选型时先定引擎再看档位。

显存到底怎么估？文件之外的隐藏开销

包大小只是"权重文件"的体积，不是模型跑起来的全部显存。实际显存 ≈ 权重 + KV cache + 视觉塔/MTP/DFlash2 草稿的运行时缓冲。经验法则：

在包大小基础上，再多预留 20%~40%给上下文缓存与运行缓冲。

由此给出"建议最小显存"（单卡）：

档位	包大小	建议最小显存
GGUF Q2	12.4 GiB	≥ 16 GiB
INT4 W4A16	18.1 GiB	≥ 24 GiB
NVFP4 W4A16	19.2 GiB	≥ 24 GiB
GGUF Q6_K	21.6 GiB	≥ 24~32 GiB
GGUF Q8_0	27.1 GiB	≥ 32 GiB
INT8 W8A8	28.3 GiB	≥ 32 GiB
静态 FP8	31.4 GiB	≥ 40~48 GiB
BF16	51.8 GiB	≥ 64~80 GiB

按你的显存直接选档位 🔧

不知道选哪个？对号入座即可：

16 GiB：GGUFQ2（Q2LynnStyle），内置 Q4 MTP，是 16GB 卡最友好的选择。
24 GiB：GGUFQ4或INT4 W4A16，想要更强精度就上GGUF Q6_K。
32 GiB：GGUF Q8_0或INT8 W8A8，接近原始精度。
48~80 GiB：静态 FP8（性价比最高的"准无损"档，MMLU 450 分）。
80 GiB 以上 / 追求极限：BF16，原始精度。

引擎与加速怎么配（一句话版）

SGLang：BF16 / 静态 FP8 / NVFP4 三家族免补丁加载，DFlash2 单请求约 180 tok/s（约 3× 无投机）。
vLLM：INT4 W4A16、INT8 W8A16 / W8A8，支持内置/外挂MTP投机解码。
llama.cpp / NInfer：所有 GGUF 档位，内置 MTP 头，无需外挂草稿。
MTP 与 DFlash2 互斥，一次只开一种。

下载与校验

按上表选定目录，只下载你需要的档位子目录（不必整仓下载）。
每个目录自带 SHA256SUMS 校验文件，例如 FP8/SHA256SUMS、GGUF/SHA256SUMS，下载后在对应目录内执行sha256sum -c SHA256SUMS即可验证完整性。
各档位 config.json 声明架构为Qwen3_5ForConditionalGeneration（多模态），generation_config.json 给出默认采样参数。
分数原始记录在 evaluation/ 目录，如 evaluation/SCORES_STATICFP8.json、evaluation/SCORES_BF16.json。

小结：三句话选完

看显存选档位：包大小 + 20%~40% 缓冲 ≈ 你的最小显存。
看 BPW 看精度成本：BPW 越高越准、越吃显存；3.89（Q2）到 16.00（BF16）跨度很大。
先看引擎再看档位：SGLang 走 safetensors 家族，vLLM 走 INT4/INT8，llama.cpp/NInfer 走 GGUF——别跨引擎拿包。