让推理飞起来：NVIDIA-Nemotron-3.5-Bolt-74B-A9B-GGUF 搭配DFlash NVFP4推测解码加速实战-平芜编程栈

大模型
基础模型
多模态
本地部署

【免费下载链接】NVIDIA-Nemotron-3.5-Bolt-74B-A9B-GGUF

项目地址：https://ai.gitcode.com/hf_mirrors/unsloth/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-GGUF

NVIDIA-Nemotron-3.5-Bolt-74B-A9B-GGUF 是 Unsloth 为 NVIDIA Nemotron 3.5 Bolt 多模态大模型制作的 Dynamic GGUF 量化权重仓库，并随仓库附带了 DFlash NVFP4 推测解码 drafter，让 74B 级大模型在本地推理时拥有"大模型的智商、小模型的速度"。本文带你快速看懂仓库里的每一档权重，并讲清楚如何用 DFlash NVFP4 推测解码把生成速度拉起来 🚀

一、模型速览：74B 总参数、仅 9B 激活的 MoE 选手

这是一只为"本地智能体任务"设计的多模态模型，核心参数一览：

项目	说明
总参数 / 激活参数	74B / 9B（MoE 架构，每个 token 只计算约 1/8 的专家参数）
主干架构	Mamba-2 + Transformer 混合 LatentMoE
视觉编码器	C-RADIO v4-H，支持图片与视频输入
最大上下文	256K tokens
推测解码	通过 DFlash 提供 LiLiCorr drafter，官方 vLLM 配方默认 7 个推测 token
许可证	OpenMDW-1.1，允许商用

详细模型信息见仓库文档 README.md。

关键点：由于是 MoE 结构，它的激活参数量只有 9B，天然比同体量稠密模型更快，再叠加推测解码加速，延迟还能再降一截。

二、仓库文件清单：选对量化档位

本仓库由 Unsloth Dynamic 3.0 量化流程产出，覆盖了从 1-bit 到 BF16 的全档位，按显存/内存"对号入座"即可：

档位	文件 / 目录	适合谁
超低内存（1~2 bit）	UD-IQ1_S、UD-IQ1_M、IQ2_XXS、UD-IQ2_M、UD-IQ2_XXS、UD-IQ3_XXS	显存最紧张、只求"能跑起来"
低比特实用档	UD-Q2_K_XL、UD-Q3_K_XL	小显存下尽量保质量
均衡推荐档	UD-Q4_K_XL/、UD-Q5_K_XL/	多数人的第一选择，质量/速度平衡
高质量档	UD-Q6_K_XL/、Q8_0/	显存充裕、追求近无损输出
全精度（微调用）	BF16/	后训练、二次量化，非直接推理
视觉投影模块	mmproj-BF16.gguf	需要图片/视频理解时搭配加载
推测解码 drafter	dflash-NVIDIA-Nemotron-3.5-Bolt-74B-A9B-NVFP4.gguf	本文主角，配合 vLLM 加速用

💡 小文件（如 UD-Q4_K_XL）是"主文件 + 分片"的多段 GGUF，加载时指定其中一个即可，其余分片需放在同一目录。

三、DFlash NVFP4 推测解码：30 秒讲清原理

推测解码（Speculative Decoding）的思路可以概括为"小模型打草稿，大模型做批改"：

草稿：一个体量小得多的 drafter 模型一口气"猜"出接下来的一串 token（本仓库配方为 7 个）；
批改：74B 主模型只需一次前向，并行验证这 7 个草稿 token，正确的全部收下，遇到错误就回退到正确位置；
结果：一个生成步能推进多个 token，而输出分布与直接用主模型逐字生成完全一致——更快，但不牺牲质量。

仓库里的 drafter 权重采用 NVFP4（4-bit 浮点）量化，体积仅约 1GB，相比 74B 主模型几乎可以忽略，加速"净赚"。这套 drafter 基于 DFlash 框架的 LiLiCorr 方案，详见 README.md。

四、实战三步：把加速跑起来

第 1 步：下载权重

仓库通过 Git LFS 存储大文件，直接克隆即可：

git clone https://gitcode.com/hf_mirrors/unsloth/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-GGUF cd NVIDIA-Nemotron-3.5-Bolt-74B-A9B-GGUF git lfs pull

只想要某一档量化？用git lfs pull --include="<路径>"按需拉取即可，例如只取 UD-Q4_K_XL 目录和 drafter 文件，能省下大量带宽。

第 2 步：vLLM 部署并开启 DFlash 推测解码

DFlash 加速面向 GPU 推理路线，推荐用 vLLM 部署（NVIDIA Ampere / Hopper / Blackwell 显卡）：

主模型指向你选定的 GGUF/Safetensors 权重路径（或按官方 vLLM recipes 指定的权重）；
在推测解码配置中指定 dflash-...NVFP4.gguf 作为 drafter，推测 token 数设为 7（与官方配方一致）；
采样参数建议 temperature 1.0、top_p 0.95，这是官方继承自 Super 3.5 VL 客户端的推荐值。

多模态输入时，再额外加载 mmproj-BF16.gguf 视觉投影模块，即可接收图片与视频帧。

第 3 步：没有大显卡？用 llama.cpp 跑 GGUF

纯 CPU 或小显存机器可以直接用 llama.cpp 加载上面的 GGUF 档位权重（指定任意一个分片即可加载完整模型），配合 mmproj 文件还能做多模态问答。这条路线以稳定为主，DFlash 加速建议在 vLLM 路线上享受。

五、效果预期与调优建议

显存不够就先降档：从 UD-Q4_K_XL 起步，不够再降到 Q3/Q2 或 IQ 系列，速度只会更快；
对话与智能体场景收益最大：短问短答、工具调用时草稿命中率高，加速比最明显；超长思考链场景可考虑减少推测 token 数；
drafter 必须与主模型配套：本 drafter 只适配 Nemotron 3.5 Bolt 74B-A9B 家族，不要与其他模型混搭；
BF16 目录不是必需：它主要面向定制与后训练，日常推理用 Q4/Q6/Q8 档即可。

六、常见问题 FAQ

Q：DFlash 文件是干什么的，一定要下载吗？A：它是推测解码的草稿模型（LiLiCorr drafter，NVFP4 量化）。想要"快"就下载；只求能跑，可只下主模型权重。

Q：UD-Q4_K_XL、UD-Q5_K_XL 里的 "UD" 是什么？A：Unsloth Dynamic 量化档位的命名，同一基础量化类型下按显存预算给出的推荐档。

Q：这个模型可以商用吗？A：可以，许可证为 OpenMDW-1.1，商业与非商业用途均允许。

Q：支持哪些语言？A：以英文与编程语言为主，同时支持中文、日语、法语、德语、西班牙语等 10 余种语言。

写在最后

NVIDIA-Nemotron-3.5-Bolt-74B-A9B-GGUF 用"全档位 GGUF + 约 1GB 的 NVFP4 drafter"的组合，把 74B 多模态智能体的部署门槛压到了很低：选一个合适的量化档、按官方配方挂上 DFlash 推测解码，你就能在本地体验到又快又聪明的 256K 上下文助手。上手试试吧 ⚡