【AI大模型】GGUF 格式（llama.cpp）：在 CPU 上跑大模型的秘密

【AI大模型】GGUF 格式（llama.cpp）：在 CPU 上跑大模型的秘密

写在前面：没有好显卡也能跑大模型

很多人觉得跑大模型必须买高端显卡。但 llama.cpp + GGUF 这个组合，让你只用 CPU 和内存就能跑 7B 甚至更大的模型。本课就讲透它的秘密。

本文讲清：GGUF 是什么 → 为什么适合 CPU → 怎么选量化档位 → 在 CPU 上跑起来。全文代码可直接运行。

一、GGUF 是什么

GGUF 是 llama.cpp 项目推出的一种模型文件格式，把模型权重、tokenizer、量化参数打包进一个文件，专为本地、低资源推理优化。

• 单文件——一个 .gguf 文件即完整模型，方便分发。

• 高兼容——能被 llama.cpp、Ollama 等广泛加载。

• 量化友好——原生支持 4bit/5bit/8bit 等各档量化。

一句话：GGUF 是“为 CPU 和低显存优化过的模型格式”。

二、为什么 GGUF 能在 CPU 上跑

关键在于量化 + 高效内核：

<

量化档位	体积(7B)	适用