很多人一聊本地大模型，第一反应就是显卡、显存、4090、A100。
但真正落到普通开发者、桌面设备、长期稳定使用这个语境里，你会发现一个更现实的问题：
不加显卡，只用 CPU，本地大模型到底能跑到什么程度？
我直接给结论，然后再拆解理由。
最舒服区间（强烈推荐）
3B ～ 7B（4-bit 量化）
这是一个被大量实践反复验证过的“甜点区间”。
不靠幻想、不靠硬撑，也不靠“只跑一句就关”的自欺欺人。
代表模型
LLaMA 3.2 1B / 3B
Qwen2.5 3B / 7B（Q4）
Mistral 7B（Q4_K_M）
这几类模型，在 CPU-only 场景下，已经形成了一个非常稳定的生态。
真实体验是什么样？
能对话，而且不是“PPT 对话”
你不是在等半分钟蹦一句话。
在 8～16 核 CPU 上，Q4 量化后：
首 token 延迟可接受
连续生成不至于断气
思路是连贯的，不是碎句拼接
对话体验已经能覆盖日常思考、方案推演、文案辅助。
能写代码（中等复杂度）
别指望它给你写一个完整分布式系统。
但在下面这些场景里，它是真的好用：
函数级别代码补全
中小脚本生成（Python / JS / Shell）
重构建议、逻辑检查
把自然语言需求翻成“能跑的代码骨架”
作为本地 Copilot，完全成立。
能当「本地 Agent 的核心大脑」
这是很多人低估的一点。
3B～7B 模型，放在 Agent 架构里时，角色并不是“全能天才”，而是：
负责意图理解
负责任务拆解
负责流程调度
把真正重活交给工具或脚本
一旦你用的是 MCP / Tool / Workflow 思路，这个区间的模型，刚刚好。
风扇会转，但机器不痛苦
这是一个很重要、但经常被忽略的指标。
CPU 占用会上去
风扇会转
但不会长期 100% 卡死
不会触发过热降频
不会让你产生“我是不是在折磨机器”的负罪感
你可以一边跑模型，一边干别的活。
为什么 3B～7B 是 CPU 的上限甜点？
原因很简单，但很多人不愿意承认。
1️⃣ 参数规模 × 内存带宽，是硬上限
CPU 推理，本质是：
内存 → cache → ALU 的搬运游戏
7B 以上，哪怕 Q4：
权重体积开始明显压迫内存带宽
cache 命中率急剧下降
token/s 不是线性下降，而是断崖式崩溃
12B、14B 在 CPU 上，更多是“能跑”，而不是“能用”。
2️⃣ 延迟比智商更重要
本地模型的价值，不在于“它有多聪明”，而在于：
你会不会频繁用它
你愿不愿意把它接进日常工作流
高延迟 = 你很快就不用了。
3B～7B，恰好卡在一个：
“模型能力刚刚够用 + 延迟还能忍”的区间。
3️⃣ 4-bit 量化已经非常成熟
现在的 Q4 / Q4_K_M：
对语言能力影响有限
对代码能力影响可控
对 CPU 推理速度提升巨大
这是一个工程上已经“站稳脚跟”的方案，不是实验品。
一句话结论
如果你不加显卡，只用 CPU，又想把本地大模型当成一个长期工具：
3B ～ 7B（4-bit 量化）
就是现在性价比最高、最稳定、最不折磨人的选择。
再往上，是技术挑战；
在这里，是工程解法。
