先泼一盆冷水：很多人一上来就问“我要买什么显卡才能跑DeepSeek”，可DeepSeek不是单个模型，而是从1.5B到671B横跨三个数量级的整个模型家族；Qwen同样如此，0.5B到72B甚至最新的MoE大版本都有。你问“跑DeepSeek要什么配置”，就好比问“买什么车能上高速”——QQ能上，重卡也能上，可这俩完全不是一回事。这篇文章我按DeepSeek和Qwen两大家族的真实部署门槛，从显存账本、GPU选型、辅助硬件到整机配置方案完整过一遍，最后给你可以直接抄作业的三套UltraLAB工作站配置单。全文不堆参数表，只讲我自己帮人配机器时验证过的思路和坑。
1. 先算明白显存账：所有硬件选型都要从模型倒推
1.1 模型“体重”决定显存下限
硬件选型的起点不是显卡，是模型。不管DeepSeek还是Qwen，只要确认了模型规模和量化方式，显存需求基本就能算个八九不离十。核心公式很简单：
模型权重显存 ≈ 参数量 × 每参数字节数
浮点全精度（FP16/BF16）每参数占2字节，INT8量化占1字节，INT4量化占0.5到0.6字节。用这个公式去套：
- Qwen2.5-7B，BF16全精度，权重约14GB
- Qwen2.5-32B，BF16全精度，权重约64GB
- Qwen2.5-72B，BF16全精度，权重约144GB
- DeepSeek-R1-Distill-Qwen-32B，BF16全精度，权重约64GB
- DeepSeek-R1/V3原版，总参数671B，BF16全精度权重约1342GB
看到最后一行那个数字，你就明白了：个人用户和大多数小团队基本不用考虑原版R1全精度，只能走量化或者玩蒸馏版。这也是为什么现在讨论本地大模型，话题总绕不开“量化等级”和“你能接受多少精度损失”。
但权重远不是显存占用的全部。真跑起来还有KV Cache、CUDA上下文、临时激活值。我自己做配置估算时，习惯直接用“权重占用 × 1.2 作为显存下限”，如果上下文窗口拉长或者并发请求多，这个系数还要往上抬到1.3甚至1.5。
1.2 KV Cache是显存里的隐形住户
KV Cache是Transformer推理时缓存历史注意力信息的空间，上下文越长、并发数越高，吃显存越多。它的估算公式是：
KV Cache ≈ 2 × 层数 × KV头数 × 每头维度 × 序列长度 × 字节数
拿Qwen2.5-32B举例，64层、8个KV头、每头128维，跑一条32K上下文的会话，BF16精度下KV Cache大约就要吃8GB左右。注意这是单条会话，并发10个请求就是80GB，一整张A100都被上下文吃掉了。所以生产环境里“显存不够”很多时候不是模型权重塞不下，而是并发上下文先把显存干穿了。
CUDA context相对小众，单个进程几百MB，但如果用vLLM起多个模型实例，累积起来也不可忽视。这也是为什么我始终不建议把gpu-memory-utilization拉满到0.98——一旦上下文波动，直接OOM重启，稳定性比多挤出来的那点显存重要得多。
1.3 DeepSeek/Qwen不同规格的显存门槛速查
不同模型和量化档位对应的最低显存需求，下面这张表是我做选型时反复用的，大家可以直接保存：
| 模型 | 参数量 | BF16权重 | INT8权重 | INT4权重 | 建议显存下限 |
|---|---|---|---|---|---|
| Qwen2.5-7B / R1-Distill-Qwen-7B | 7B | 14GB | 7GB | 4GB | 8GB（量化）/ 24GB（全精度） |
| Qwen2.5-14B / R1-Distill-Qwen-14B | 14B | 28GB | 14GB | 8GB | 24GB（量化）/ 48GB（全精度） |
| Qwen2.5-32B / R1-Distill-Qwen-32B | 32B | 64GB | 32GB | 17GB | 24GB（量化）/ 80GB（全精度） |
| Qwen2.5-72B / R1-Distill-Llama-70B | 70B以上 | 144GB | 72GB | 36GB | 48GB×2或80GB（量化）/ 80GB×2（全精度） |
| DeepSeek-R1/V3原版 | 671B（MoE） | 1342GB | 671GB | 335GB | 80GB×8（量化） |
| 新版Qwen MoE旗舰 | 235B（MoE） | 470GB | 235GB | 118GB | 80GB×4到×8（量化） |
注意MoE架构的模型有点“迷惑性”。DeepSeek-R1总参数671B，但单次推理只激活37B参数，计算量不大，可权重依然要全部常驻显存，选卡时不能按激活参数算，必须按总参数位算。这是很多人配置翻车的第一大原因。
1.4 我的选型顺序建议
如果只记一段话，那就是：先定模型，再定量化档位，再定上下文长度和并发数量，倒推出显存总量，最后才轮到选GPU。顺序反了的人，十有八九会买错卡。
比如你的目标只是“私有化部署一个32B模型，内部几个人用，上下文8K”，那么单张24GB显存的卡跑INT4量化就够了；但如果目标是“32B模型，给公司门户网站做API，几百人同时在线”，那就得按并发把显存需求放大好几倍，配置直接跳到多卡方案。同样的模型，需求不同，硬件天差地别。
2. GPU选型：显存不是唯一指标，带宽和互联才是隐藏胜负手
2.1 为什么说大模型推理是“带宽游戏”
很多人以为GPU跑AI拼的是算力，也就是TOPS/TFLOPS，但大模型生成场景特殊：每生成一个token，都要把整个模型的权重从显存里读一遍参与计算。模型权重是固定的，反复读，这时候显存带宽直接决定每秒钟能生成多少token。
举个具体例子，RTX 4090显存带宽约1TB/s，跑32B模型的INT4量化权重约17GB，那么理论上单token生成时间大约是17GB除以1TB/s，17毫秒，对应约59 token/s。这是纯理论天花板，实际还要扣掉采样、调度、CUDA开销，能跑到40多就算不错。
明白这个逻辑后，很多配置选择就清楚了：A100 80G的FP16算力是4090的好几倍，但显存带宽只有约1.9TB/s，跑单batch推理时未必比4090快多少。它的核心价值是80GB显存、NVLink互联、驱动稳定性、以及大规模并发时算力才能派上用场。单路推理选卡看带宽，高并发生产选卡看显存总量和算力平衡，这是两个完全不同的选型维度。
当前主流卡型对比大致如下：
| 显卡 | 显存 | 显存带宽 | NVLink | 定位 |
|---|---|---|---|---|
| RTX 4090 | 24GB GDDR6X | 约1TB/s | 不支持 | 个人入门性价比之选 |
| RTX 5090 | 32GB GDDR7 | 约1.8TB/s | 不支持 | 个人/小团队更高带宽 |
| RTX A6000 | 48GB GDDR6 | 约768GB/s | 支持（桥接） | 专业图形+AI通用 |
| L40S | 48GB GDDR6 | 约864GB/s | 不支持 | 数据中心推理加速 |
| A100 80G | 80GB HBM2e | 约1.9TB/s | 600GB/s | 多卡生产部署主流 |
| H100 80G | 80GB HBM3 | 约3.3TB/s | 900GB/s | 旗舰训练/推理 |
2.2 多卡互联：Tensor Parallel 的通信隐形成本
一旦模型单卡放不下，就要走多卡并行，最常用的是Tensor Parallel（TP），把一层网络切成好几份分给多张卡。问题是，每层的计算结束后都要做一次全卡间的数据同步（AllReduce），卡间通信带宽直接决定多卡扩展效率。
NVLink加持的A100卡间通信约600GB/s，8卡TP能跑到接近单卡90%的效率；消费级RTX 40/50系列没有NVLink，多卡通信走PCIe Gen4 x16，单向也只有32GB/s左右，双向约64GB/s，跟NVLink差了一个数量级。真用两张4090去跑70B全精度模型的TP2并行，你会看到两张卡忙活半天，实际生成速度可能只有单卡理论速度的一半多点，大量时间花在等通信上。
所以我的原则是：能用单卡量化解决，绝不上多卡TP；必须多卡TP，优先选带NVLink的专业卡或加速卡。双卡跑70B及以上，如果预算允许，A6000加NVLink桥是比双4090靠谱得多的方案。
2.3 UltraLAB级多卡平台的卡位选择
UltraLAB这类定制工作站能上到四卡甚至八卡，但卡位选择跟用途强相关。如果是R1原版671B量化部署，建议直接按80GB显存的A100或同级产品规划，至少4卡起步，8卡才从容。如果只是72B全精度或者235B MoE量化，4张48GB的L40S或者A6000也能对付。
散热和卡间距也要想清楚。涡轮散热的加速卡可以密集插，开放式散热的消费卡挤在一起就是“暖气片”，中间卡的温度能把性能拖垮。定制工作站在机箱风道和电源分配上做过验证，这是它比普通塔式机箱更适合多卡的根本原因。
3. CPU、内存、存储、供电散热：最容易翻车的“辅助件”
3.1 CPU主频和PCIe通道数决定多卡上限
GPU推理时CPU主管数据调度、tokenizer、采样和显存里的数据搬运，看起来是“配角”，但选错CPU会让多卡平台直接残废。最关键的是PCIe通道数量。
一张GPU跑满PCIe Gen4 x16需要16条通道，四张卡就是64条。消费级CPU的PCIe通道通常在20到28条，插满四卡只能x8甚至x4运行，通信带宽砍半。工作站CPU才是正道，主流至强W系列提供64到112条PCIe 5.0通道，能保证每张卡都跑在满速x16上。这也是UltraLAB这类机器普遍采用至强W处理器而不是i9的原因。
CPU主频还影响首token延迟。采样、调度这些单线程操作对主频敏感，基准频率3.5GHz以上的工作站CPU比低主频服务器CPU在聊天场景下体验更好。如果是纯离线批量跑任务，高核心数的服务器CPU更划算；如果做交互式API服务，核心数够用就行，主频不能低。
3.2 内存容量和带宽：offload方案的生命线
内存实际上承担三块职责：系统运行开销、模型从磁盘加载时的中转区、以及显存不足时CPU offload的容量池。前两项16GB内存就能跑，但一旦涉及大模型offload，内存容量和带宽直接决定速度。
以64GB权重的32B全精度模型为例，如果显存不足需要offload一半到内存，那么每个token都要从内存搬运一部分权重到GPU，内存带宽越低，生成越慢。DDR5八通道的理论带宽能到300GB/s以上，双通道消费平台只有几十GB/s，体验相差巨大。所以我给客户配机时，凡是计划跑30B以上模型的，内存统一按八通道DDR5 512GB以内来规划，容量按模型文件大小的1.5到2倍预留。ECC内存不强制，但如果打算跑微调训练，建议加上，能避免偶发内存比特翻转导致的训练崩溃。
3.3 存储：冷启动加载模型的起跑线
一个容易被忽略的事实：671B模型的INT4量化版文件就有300多GB，第一次启动要全部读进显存。这个冷加载时间完全由存储决定。
PCIe Gen4 NVMe顺序读能到7000MB/s，300GB模型约45秒加载完；PCIe Gen3 NVMe约3500MB/s，就要一分半；机械硬盘，直接按几分钟甚至十几分钟算。生产环境重启一次服务等半小时，谁也忍不了。建议系统盘和模型盘分离，模型盘用PCIe Gen4 NVMe起步，容量至少2TB，给下载、解包、量化转换留出余量。
3.4 供电和散热：多卡平台的“电老虎”账本
功率这块很多自己装机的朋友翻过大跟头。单张RTX 4090标称功耗450W，瞬间峰值还能再冲到600W；RTX A6000约300W，A100约400W，CPU再加300到500W。四张4090满载整机功耗轻松破2200W，八张A100整机4kW以上。
电源余量我建议按整机满载功耗的1.3倍起步，并留出瞬时电流的冗余。多卡机最好选大功率钛金电源，纹波小，长期跑更稳。UltraLAB这类整机的好处是电源分配、线材规格、机箱风道都是按多卡负载设计的，自己组装的话，这些坑都要一个个踩。
散热的话，多说一句：开放式散热显卡横排紧贴安装，第二张和第三张卡的显存温度轻松过95度，一旦过热降频，生成速度肉眼可见往下掉。解决方案要么涡轮卡，要么改水冷，要么机箱强制风道足够暴力。定制工作站一般会提供水冷选项，多卡高负载场景建议直接上。
4. 三套可直接抄作业的UltraLAB整机配置方案
4.1 配置A：个人开发/推理入门（单卡准专业）
典型配置：
- CPU：至强W7-2495X或同级工作站处理器（24核以上）
- 内存：64GB DDR5 ECC起步，建议128GB
- GPU：RTX 4090 24GB，或预算充足直接上RTX 5090 32GB
- 存储：系统盘1TB PCIe Gen4 NVMe + 模型盘2TB PCIe Gen4 NVMe
- 电源：1600W钛金
- 机箱：塔式工作站级风道
这套机器的定位是：Qwen2.5-7B/14B全精度随便跑，32B模型INT4量化流畅跑，DeepSeek-R1-Distill-Qwen-32B INT4能达到25到35 token/s的生成速度，做代码补全和文档分析足够舒服。还能做7B级别的LoRA微调实验，一张24G显存刚好够用。
适合人群：个人开发者、独立研究者、小团队原型验证。如果明确要跑32B全精度，这张4090得上到48GB专业卡，或者接受双卡方案。
4.2 配置B：小团队/私有化API服务（2到4张48GB）
典型配置：
- CPU：至强W9-3495X（56核）或同级
- 内存：256GB DDR5 ECC八通道
- GPU：2× RTX A6000 48GB加NVLink桥，或2× L40S 48GB；预算够直接4卡
- 存储：系统盘1TB NVMe + 模型盘4TB NVMe
- 电源：3000W钛金
- 散热：整机水冷或高性能风道
这套配置的核心目标：Qwen2.5-72B和DeepSeek-R1-Distill-Llama-70B在INT4/INT8量化下跑得动，32B模型全精度跑得动，同时支撑20到50路并发请求。双A6000通过NVLink做TP并行，70B量化模型的生成速度能稳定在15到25 token/s，对小团队API服务完全够用。
这里特别提醒：双L40S和双A6000虽然都是48GB，但L40S没有NVLink，多卡TP并行时通信走PCIe，性能天花板明显更低。买之前先想清楚，是跑单卡能放下的模型，还是真的要多卡切分大模型。
4.3 配置C：旗舰级多卡（4到8张80GB）
典型配置：
- CPU：双路至强或单路至强W9，PCIe通道足够
- 内存：512GB DDR5 ECC，建议1TB
- GPU：4到8张A100 80G或同级加速卡，NVLink全互联
- 存储：系统盘1TB NVMe + 模型盘8TB NVMe（建议RAID 0/RAID 10加速冷加载）
- 电源：冗余大功率电源，整机供电4000W以上
- 散热：整机液冷或服务器级风道
这套就是冲DeepSeek-R1原版671B去的。FP8量化权重约671GB，8张80GB卡正好塞下，加上KV Cache，整体比较紧张但可用；INT4量化约335GB，4到6张卡也能跑。用vLLM或SGLang做张量并行，实测生成速度能到几十token/s，作为私有化部署的R1服务是完全能用的。
也可以跑新版Qwen MoE旗舰模型，470GB的BF16权重在8卡上轻松放，4卡做INT8量化也能跑。这个档位已经不是个人玩具，而是企业级私有化AI服务的配置，采购前需要把并发、SLA、容灾一并考虑进去。
三套方案对比如下：
| 方案 | 核心GPU | 适合模型范围 | 典型场景 | 预算档位 |
|---|---|---|---|---|
| A单卡 | RTX 4090/5090 | 7B全精度、32B量化 | 个人开发/研究 | 消费级到准专业 |
| B双卡/四卡48GB | A6000或L40S | 32B全精度、72B量化 | 小团队API服务 | 专业级 |
| C多卡80GB | A100 80G×4到8 | R1 671B量化、MoE旗舰 | 企业私有化底座 | 企业级 |
5. 从驱动到框架：本地部署DeepSeek/Qwen的落地记录
5.1 装机后的硬件自检顺序
机器到手先别急着装模型，按下面这个顺序把硬件底子摸一遍：
先跑nvidia-smi确认驱动、CUDA版本和显存是否完全识别；然后nvidia-smi topo -m查看多卡拓扑，确认NVLink是否生效、各卡是否都在CPU直连的NUMA节点上；再到BIOS里确认“Above 4G Decoding”和“Resizable BAR”已开启。这两个选项不打开，四卡以上机器轻则部分显存无法使用，重则第二张卡直接不识别。
如果发现某张卡在nvidia-smi -q里显示Link Speed只有Gen3甚至Gen2，说明PCIe链路降速，大概率是插槽带宽不足或者线材/转接卡问题。这个问题多出现在自己组装的机器上，定制工作站一般出厂前会验证好拓扑。
5.2 框架怎么选：Ollama、vLLM、SGLang还是llama.cpp
不同部署框架对硬件的利用方式差异很大，选错框架性能能差两倍：
| 框架 | 适用场景 | 硬件注意事项 |
|---|---|---|
| Ollama | 个人快速试用、局域网分享 | 多卡大模型时显存分配不一定均衡，适合7B到32B单卡 |
| LM Studio | Windows图形化操作 | 同样适合个人测试，生产环境不推荐 |
| vLLM | 生产级API服务 | PagedAttention省显存，多卡TP成熟 |
| SGLang | 大MoE模型多卡推理 | DeepSeek原版这类大模型调度优化好，推荐 |
| llama.cpp | CPU推理/低配机器 | GGUF量化格式，显存不足可以逐层offload |
我的建议很简单：个人玩法就用Ollama或LM Studio，5分钟能跑起来；要对外提供服务，直接上vLLM或SGLang。
5.3 最小可跑命令
Ollama跑DeepSeek蒸馏版和Qwen最简单：
ollama pull deepseek-r1:32b ollama run deepseek-r1:32b ollama pull qwen2.5:32b ollama run qwen2.5:32bOllama会自动按显存情况选择量化档位，个人测试足够了。
vLLM跑Qwen2.5-32B双卡并行的生产级命令：
python -m vllm.entrypoints.openai.api_server \ --model /data/models/Qwen2.5-32B-Instruct-AWQ \ --tensor-parallel-size 2 \ --gpu-memory-utilization 0.92 \ --max-model-len 32768 \ --served-model-name qwen32bgpu-memory-utilization建议设置在0.85到0.92之间，不要拉满。tensor-parallel-size要等于GPU数量。如果多卡间没有NVLink，TP并行会明显掉速，这时要么降级为单卡跑量化模型，要么换带NVLink的卡。
原版DeepSeek-R1在8卡A100集群上的启动：
python -m vllm.entrypoints.openai.api_server \ --model /data/models/DeepSeek-R1-AWQ \ --tensor-parallel-size 8 \ --gpu-memory-utilization 0.9 \ --max-model-len 16384注意，原版R1的AWQ量化版文件很大，加载时间长是正常的。生产环境建议做成容器镜像，避免每次冷启动都重新加载。
5.4 显存不够时，按顺序试这四招
第一招是降量化等级，FP16换INT8、INT8换INT4，显存占用直接减半。第二招是压上下文长度和并发数，--max-model-len从32K压到8K，KV Cache能省出一大块。第三招是启用KV Cache量化，vLLM支持--kv-cache-dtype fp8，能在几乎无损的情况下再省一部分显存。第四招是CPU offload，llama.cpp里用-ngl参数控制GPU层数，把放不下的层扔到内存，速度变慢但至少能跑。
这四招按顺序试，大多数“显存不足”问题都能在不动硬件的前提下解决。
5.5 验货：怎么判断部署确实“跑得好”
部署完别急着欢呼，先用API接口做个简单压测：
curl http://localhost:8000/v1/chat/completions \ -H "Content-Type: application/json" \ -d '{"model":"qwen32b","messages":[{"role":"user","content":"你好"}],"max_tokens":64}'看两个指标：首token延迟和生成速率。并发能力用vLLM自带的benchmark工具或wrk压一下，重点观察每秒请求数是否随并发线性增长，如果并发一上去显存就OOM，说明预留的KV Cache空间不足，要降低max-model-len或减少max-num-seqs。
参考区间说一下，我实际测试中：Qwen2.5-7B Q4在4090上生成速度约60到80 token/s，32B INT4约25到40 token/s，70B INT4在双A6000 NVLink上约15到25 token/s。达不到这个量级，优先查PCIe速度和框架配置。
6. 踩坑合集：配置表上看不见的细节
6.1 显卡插槽带宽翻车
四卡机器插满后，用nvidia-smi -q -d PCI检查每张卡的实际链路速度是最容易被跳过的一步。我见过不止一个团队买了四卡机器回来自测，发现其中两张卡只跑在x4上，问原因，是主板PCIe拆分没设置，或者CPU通道数根本不够。表现就是两张卡利用率三成不到，生成速度比单卡还慢。定制工作站虽然出厂验证过，但二手平台或自己组装的机器，这一步不能省。
6.2 双4090跑大模型是“伪多卡”
RTX 40/50系列消费卡全系砍掉了NVLink，双卡通信只能走PCIe。用两张4090去跑70B全精度模型，TP并行时通信开销能占据40%以上的等待时间，性价比极低。真想双卡跑大模型，要么选支持NVLink的A6000/A100，要么就把模型量化到单卡能放下的体积。记住：消费卡多卡方案只适合数据并行或分模型部署，不适合单模型张量并行。
6.3 显存分配不均的框架问题
Ollama在单卡场景很省心，但多卡大模型场景下，偶尔会把层全部塞进第一张卡，第二张卡闲置。遇到这类情况，优先确认Ollama版本是否支持目标模型的多卡切分，或者直接换vLLM/SGLang，用--tensor-parallel-size和--gpu-memory-utilization精细控制每张卡的显存占用。
6.4 驱动、CUDA版本和容器配套
vLLM、SGLang这类框架对CUDA版本敏感，后装的驱动版本和PyTorch容器内CUDA不匹配时，运行时报错毫无规律，常见的是“no kernel image available”这类完全看不出根因的消息。我的做法是：先选定框架版本，再按官方文档要求的CUDA版本来选择驱动，最后再装显卡驱动，顺序别反了。生产环境强烈建议用官方提供的Docker镜像，不要自己在裸机上按框架交叉编译。
6.5 微调需求必须按训练逻辑配硬件
如果机器买回来不只是推理，还要做LoRA微调或者全参微调，显存计算逻辑完全不同。微调要额外存梯度和优化器状态，全参微调Qwen2.5-7B，显存需求轻松超过56GB，一张24G卡不够；LoRA只训练少量低秩参数，24G卡反而能微调7B模型。所以下单前想清楚，是“只推理”还是“推理+微调”，两者的配置单差出好几倍预算。热词里有人搜“LoRA微调实战教程Qwen”，这里统一说一句：本地微调优先走LoRA，数据量不大时，一张4090加64GB内存撑得起7B到14B模型的微调实验。
6.6 上下文长度别盲目拉满
有人买了大显存机器，第一件事就是把max-model-len拉到128K，结果发现并发一多就OOM，反过来怀疑硬件有问题。实际128K上下文的KV Cache极其吃显存，在同模型参数量固定时，上下文长度和并发量呈反比。线上服务建议先按8K到16K设置，再根据实际业务压测慢慢往上调，不要一上来就挑战极限。
配置最后，说点配置之外的东西。我帮人配过不少跑大模型的机器，最大的感受是：很多人第一句就问“上什么显卡”，第二句就问“要多少钱”，却很少先想清楚自己到底要跑哪个模型、多少人用、上下文多长、要不要微调。其实选硬件最核心的顺序一定是模型需求倒推显存，显存需求倒推GPU，GPU数量再倒推CPU通道、电源和散热。配置单可以照抄，但这套思路最好也记下来。如果你看完这篇还是拿不准，就把你的模型选型和并发需求发出来，按上面的公式自己也算一遍，基本不会买错。
