一条命令装好 Strata：本地跑 70GB 大模型的 Linux 完整指南

一条命令装好 Strata：本地跑 70GB 大模型的 Linux 完整指南

【免费下载链接】StrataQwen3.8-Flash-Next on any consumer hardware: one-click install for Windows / Linux. Strata inference engine, OpenAI/Anthropic API on localhost, optional image input.项目地址: https://gitcode.com/gh_mirrors/strata11/Strata

Strata 是一个本地 AI 推理引擎：把 Qwen3.8-Flash-Next 这个 70GB 级的 MoE 大模型装进一张 12GB 的 NVIDIA 消费级显卡，输出约 50–90 token/s。Linux 上只需./setup.sh一条命令，装完本机http://127.0.0.1:8080就是一个 OpenAI / Anthropic 兼容的推理服务。

安装前置：硬件与系统要求清单

这一节解决"我的机器能不能跑"的问题。对照下表，"必须"缺一项装不上或跑不动，"推荐"缺了能跑但体验打折，"可选"是锦上添花。

部件	必须	推荐	可选
显卡	NVIDIA RTX 30 / 40 / 50 系列，12GB 显存起步	显存越大越快：每多 1GB 约能多常驻 700 个专家	24GB 以上可放心开长上下文
驱动	NVIDIA 驱动 580 或更新——整个部署里唯一需要你手动装的东西	—	—
内存	46GB（模型主体驻留内存）	64GB（官方实测的舒适档位）	32GB 只能跑专家减半的 Coder 版本
CPU	带 AVX2 的 x86-64 CPU	—	—
磁盘	约 70–80GB 空闲（模型 + MTP 草稿层）	NVMe SSD：专家表走随机读，机械盘会明显拖慢	—
系统	Ubuntu 22.04 / 24.04 可全自动	—	Arch、Fedora 等需先手动装编译器，见后文

数字来自 docs/MODELS.md 与 docs/INSTALL.md。总判定：12GB RTX 卡 + 64GB 内存 + NVMe 是最稳的组合；32GB 内存直接选 Coder 变体，别硬上原版。

一键安装步骤：./setup.sh 五个阶段逐个看

拿到代码只需要两步，之后就是等：

git clone https://gitcode.com/gh_mirrors/strata11/Strata cd Strata && ./setup.sh

🧭 每个阶段都有断点标记：中断后重跑./setup.sh，已完成的部分直接跳过，下载从断点续传。

阶段一：环境体检，先查硬件再问四个问题

这一步做什么：setup 用nvidia-smi读 GPU 型号和驱动版本，再查内存、CPU 指令集（AVX2）与磁盘空闲空间。体检完问四个问题，每题都有推荐默认值，直接回车即可——模型家族（原版 Qwen3.8-Flash-Next 还是 Swift 1.5 微调）、量化尺寸（Q2_0 / IQ2_XS / IQ3_XXS / IQ3_S）、上下文长度（8K–262K，按你的显存给推荐值）、是否支持读图。

怎么判断没卡住：终端一行行打印体检结果，然后停在第一个问题上等你输入，就是正常。卡住了怎么办：这一步就报错，通常是驱动太旧（低于 580），不是网络问题——升级驱动、重启，再重跑。

阶段二：依赖安装，装进私有虚拟环境

这一步做什么：setup 把全部 Python 依赖装进项目内的.venv——numpy、jinja2 等，外加 NVIDIA 的 CUDA 运行库。设计意图是"不污染系统"：系统 Python 保持原样，也绕开了新发行版默认拒绝全局 pip 装包的策略。

怎么判断没卡住：.venv/bin/python装完 pip 包列表就应该结束，通常一两分钟。卡住了怎么办：多半是 pip 源慢，重跑./setup.sh即可，之前装好的包不会重装。如果上次装到一半留下坏环境（.venv里有 python 但没有 pip），脚本会自动清掉重建，你不需要手动干预。

阶段三：引擎获取，RTX 30/40/50 用户零编译

这一步做什么：setup 优先下载官方预编译引擎——一个 zip，落到engine/目录，内含strata可执行文件和BUILD.json版本清单，比对 GPU 架构与你的显卡 compute capability，匹配即装。

分支逻辑说清楚：

• 如果你的显卡是 RTX 20/30/40/50 且预编译包覆盖它的架构，那么全程零编译，不需要任何编译器；
• 如果预编译包不存在或不含你的架构，那么 setup 先征求你同意，再安装构建工具并本地编译，首次约 20–40 分钟，视机器而定；Ubuntu 22.04 / 24.04 全自动——build-essential加 NVIDIA 官方源的 CUDA Toolkit 13；
• 如果你在 Arch、Fedora 等非 Ubuntu 发行版，那么需要先手动备好 C++ 编译器与 CUDA 13，例如 Arch 执行sudo pacman -S base-devel cuda。setup 的find_nvcc()按PATH、/usr/local/cuda*、/opt/cuda*的顺序找nvcc，找到之后其余步骤继续自动完成。

编译产物同样落在engine/，并记录源码指纹：以后git pull改动了src/、include/、CMakeLists.txt等源文件，下次启动只增量重编变更部分（一两分钟）；重编失败时 setup 保留并启动旧引擎，不会让你断网。

阶段四：模型下载，约 70GB 全程断点续传

这一步做什么：模型按固定 commit 从 Hugging Face 下载，每个文件都带大小与 SHA-256 校验——文件不对就修好或重来，不会带着坏文件往下走。下载完再拉约 5GB 的 MTP 草稿层（推测解码用，提速输出）。终端显示逐文件进度；中断后重跑从断点继续，已校验过的分片不会重下。

量化档位怎么选：推荐 IQ2_XS——精度比 Q2_0 略好而速度几乎无损，是 64GB 内存下的默认推荐。内存只有 48GB 时，专家全驻内存加系统开销，只剩 Q2_0 和 IQ2_XS 放得下；32GB 内存直接换专家减半的 Coder 版本。完整档位对照见 docs/MODELS.md：

尺寸	下载	模型占内存	短聊天输出速度*
Q2_0	66GB	约 37.6GB	94 token/s（最快）
IQ2_XS	68GB	约 39.2GB	79 token/s
IQ3_XXS	76GB	约 47GB	62 token/s
IQ3_S	84GB	约 54.8GB	53 token/s（质量最接近全精度）

* RTX 5070 12GB + 64GB 内存实测。显存更大不会降低内存需求，但能让更多专家常驻 GPU，输出更快。上下文到 64K 以上且内存充裕时，setup 会自动开启 KV streaming（--kv-resident 32768，代价是每 token 约 13.7KB 内存），让 KV 缓存留在内存、把显存让给专家。

卡住了怎么办：下载反复中断就重跑./setup.sh，已下载的部分会保留；若 Hugging Face 持续不通，按提示改用--source modelscope走国内镜像源。

阶段五：生成启动脚本并拉起服务

这一步做什么：setup 写出run-<model>.sh启动脚本，拉起 serve/server.py，浏览器打开http://127.0.0.1:8080就能看到带 Chat 与 Monitor 标签页的本地 Web 应用。

⚠️首次启动时电脑可能"假死" 1–3 分钟：引擎正在把 34–55GB 读进内存、锁定一部分给显卡（pin，即把数据钉在内存里、不允许系统换出）并给专家缓存定尺寸。这是正常现象，别关窗口；第二次启动因 OS 缓存会快很多。

装完即用：日常运维速查与第三方工具接入

这一节解决"装完之后怎么用"的问题。

场景	命令
再次启动（不重复下载）	./setup.sh或./run-<model>.sh
加装模型 / 改上下文或图像设置	./setup.sh --setup
无交互安装（全用推荐值）	./setup.sh --model IQ2_XS --yes
指定已有的 GGUF 文件	./setup.sh --gguf-dir /data/IQ2_XS
换端口	./setup.sh --port 8081
终端聊天	.venv/bin/python chat.py
更新 Strata	git pull后重跑./setup.sh
健康检查	curl http://127.0.0.1:8080/health

接入第三方工具只需一个 base URL：OpenAI 兼容端点是http://127.0.0.1:8080/v1，任意 API key、任意模型名都能通过；Anthropic 格式则走/v1/messages。Claude Code、Codex CLI 这类编程代理直接填这个地址即可，无需账号。

特殊情况与高频故障排查

这一节如实讲边界：哪些环境会打折，高频报错怎么一条命令解决。

WSL 能跑，但 KV streaming 会缺席

setup.py 的is_wsl()通过内核字符串里的 "microsoft" 标志识别 WSL 并自动调整配置（Ubuntu 24.04 已验证）。唯一的实质代价：KV streaming 需要把内存中的 KV 缓存副本"钉住"（pin，把数据钉在内存里不让换出，GPU 才能零拷贝直读），而 WSL 下 NVIDIA 驱动总共只能 pin 约 1GB 内存，远不够长上下文使用。因此 setup 会自动移除该参数，KV 缓存全部留在显存中，专家权重改从未 pin 的内存拷贝上卡。

⚠️WSL 下的具体损失：长 prompt 的 prefill（读长文档、长上下文）速度明显低于原生 Linux；日常聊天和接 API 完全无感。对超长上下文吞吐敏感，建议直接原生 Linux 部署。

非 Ubuntu 发行版：编译器自己先备好

setup 只在拿到 nvcc 之后才接管编译。Arch 执行sudo pacman -S base-devel cuda，Fedora 用 dnf 装对应包即可；setup 的find_nvcc()按PATH、/usr/local/cuda*、/opt/cuda*顺序查找，找到后其余步骤自动完成，无需额外配置。

高频故障三段式排障

• 症状：the NVIDIA driver is too old→最可能原因：驱动低于 CUDA 13 要求的 580 →解决：升级驱动、重启，重跑./setup.sh。
• 症状：port 8080 is already in use→最可能原因：Strata 已在运行（或别的程序占了端口）→解决：找到已开窗口即可；确要换口用./setup.sh --port 8081。
• 症状：首次启动后电脑卡住不动 →最可能原因：引擎正在把 34–55GB 读进内存并 pin，不是死机 →解决：等；超过 10 分钟仍卡就重启、关掉占内存的程序，或换更小的 Q2_0。
• 症状：the engine stopped unexpectedly (exit code ...)→最可能原因：内存不足被系统 OOM 杀掉，sudo dmesg | grep -i 'killed process'可确认 →解决：关其他程序或选更小尺寸；下一次请求会自动重启引擎。
• 症状：prompt ... exceeds the context→最可能原因：请求超过你选的上下文长度 →解决：重跑 setup，加大--context。
• 症状：图片被拒，或提示this server was started without the vision encoder→最可能原因：setup 时选了纯文本 →解决：重跑./setup.sh --setup，用--vision gpu（约 1.4GB 显存）或--vision cpu重配。

更完整的排错表见 docs/TROUBLESHOOTING.md，引擎与服务器侧的专项条目在 docs/DETAILS.md 的 Troubleshooting 章节。

收尾：更新哲学与第一次真正跑起来

🚀 Strata 的自动化设计取向可以概括为两点：setup 只推荐、不强迫——推荐值做默认，你的坚持会原样保留并附上风险提示；模型数据与代码分离——所有模型文件放在项目旁边的Strata-data文件夹（位置记录在~/.config/strata/settings.json的data_dir），所以"更新"永远只是git pull几 MB 的代码变更，70GB 的模型原封不动。

装完打开http://127.0.0.1:8080，一个每秒 50–90 token 的本地大模型就已经在你的机器上跑了；想让编程代理接上，把 base URL 填进工具设置，第一条消息发出去即可。

【免费下载链接】StrataQwen3.8-Flash-Next on any consumer hardware: one-click install for Windows / Linux. Strata inference engine, OpenAI/Anthropic API on localhost, optional image input.项目地址: https://gitcode.com/gh_mirrors/strata11/Strata