文章目录
- 📖 介绍 📖
- 🏡 演示环境 🏡
- 📒 模型装不下内存的一轮完整实测 📒
- 🔍 内存不够，到底卡在哪一步
- 🧰 安装：一个压缩包解压就能跑
- 🚀 小模型先跑通，确认链路没问题
- 📊 模型比可用内存还大时，会怎样
- 🧠 省下来的内存，代价是什么
- ⚠️ 官方自己划的红线：先看这段再上车
- 🧭 什么机器适合试，什么场景先绕开
- ⚓️ 相关链接 ⚓️
📖 介绍 📖
想在自己机器上跑本地大模型，翻遍教程后卡在同一个数字上：内存不够。一个 30B 的模型光权重文件就十几 GB，而手里的 NAS、小主机、旧笔记本一共才 8GB、16GB。教程里那句「建议 32GB 内存以上」像一堵墙，把大多数人挡在本地部署门外。
常见的几条路都走得不太顺。换更小的模型，效果明显掉一档；开 swap 用硬盘凑内存，速度慢到没法对话；llama.cpp 这类推理框架遇到模型大于物理内存时，要么直接报错，要么速度掉到个位数。最后只能上云，可调用费、隐私、网络延迟又都是新问题。
最近在 Hacker News 上看到一个思路不太一样的项目，它 README 里的一组对比数字很扎眼：一个 48GB 的 MoE 模型，在 32GB 内存的笔记本上能跑出 24 token/s 的生成速度，而 llama.cpp 在同一台机器上只有 2.8。数字能不能复现，只有自己跑过才算。我们在一台内存上限 10GB 的容器里实测：首跑被系统 OOM 直接杀掉，调参之后才跑通——真实的速度、内存占用和踩的坑，都在正文里。
📢注意：本文内容为个人学习笔记，仅供参考。
