本地模型部署完全指南：从选型到落地，找到最适合你的那个模型
前言
当你想要把大模型真正用起来的时候，会遇到一个根本性的选择：是调用别人的API，还是自己在本地部署？
API调用省心省力，但有几个绕不开的问题。数据安全是第一位的，你的业务数据要经过别人的服务器，很多企业场景根本接受不了。长期成本也得算清楚，API是按token收费的，量大了之后账单可能远超你的预期。还有网络依赖，如果你们的业务在内网环境，调用外网API会变得很麻烦。延迟也是个问题，每次请求都要走公网，网络抖动的时候体验会很差。
本地部署正好反过来。数据在自己手里，不出内网，安全可控。成本是固定的，买一张显卡的钱就是全部投入，用多大规模都不会再增加。没有网络延迟，推理速度稳定可预测。但缺点也很明显：硬件投入门槛高，维护需要技术能力，模型选错了一切换成本也不低。
这篇文章就是帮你解决本地部署的第一个、也是最重要的一个问题：选哪个模型？
我不会告诉你去买一张A100或者H800，那对绝大多数人不现实。我会教你用消费级显卡、甚至只用CPU，也能把大模型跑起来。核心思路就一句话：在你能承受的硬件条件下，选择效果最好的量化模型。
一、从零开始理解：大模型到底是什么
在讨论选型之前，我们先花一点篇幅把大模型的基本概念搞清楚。如果你已经熟悉这些内容，可以快速跳过这一节。
传统编程靠的是if-else规则。你写退货功能，用户说“我想退货”，你的代码能匹配上。但用户说“东西不想要了”，你的代码可能就匹配不上了，因为字符串里没有“退货”两个字。
大模型不一样。它不是靠人写规则，而是通过阅读互联网上海量的文本数据——书籍、网页、论坛、代码、百科——自己“悟”出了语言是怎么运作的。所以当你问它“东西不想要了”，它能理解你说的是退货，因为它在训练数据里见过无数类似的表达方式。
这就是大模型的核心价值：它真正理解自然语言，而不是做关键词匹配。
1.1 参数量：7B、14B、72B到底代表什么
大模型名字里的“B”是Billion（十亿）的缩写。7B就是70亿个参数，72B就是720亿个参数。
参数可以理解为模型大脑里的连接数。每个参数都是一个数字，所有参数组合在一起，构成了模型对语言的理解能力。参数越多，模型的知识容量就越大，能处理的任务就越复杂。
但参数多也意味着计算量大、显存占用高。下面这张图可以帮你建立一个直观的感觉：
参数量级对应的能力和硬件需求大致是这样的。1.7B级别的模型（比如Qwen3-1.7B）可以做简单对话和文本分类，但复杂任务容易出错，只需要4GB显存的消费级显卡就能跑。8B级别的模型（Qwen3-8B、Llama3-8B）可以处理日常对话、简单问答和基础代码生成，需要8到16GB显存，这正是目前大多数消费级显卡的甜点区间。14B到32B的模型能力更强，推理和代码生成质量明显提升，但需要16到48GB显存，已经超出了普通单卡的容量。72B及以上的模型能力接近甚至超越GPT-4，但需要多卡服务器或A100/H100这类专业显卡才能运行。
有一个常见的误区是“参数越大越好”。实际上，对于很多应用场景，8B或14B的模型就够用了。参数量大的模型虽然能力强，但推理速度更慢、硬件门槛更高。选模型要看场景，不是越大越好。
1.2 必须搞懂的几个核心概念
在深入选型之前，有几个概念必须先搞清楚，因为后面选模型、选量化、调参都会反复用到。
Token是大模型的计量单位。模型处理文本时，不是按字或词来算的，而是把文本切成Token。英文里，一个单词大约对应1到1.5个Token，“hello”是一个Token，“unbelievable”可能会被切成“un”、“believ”、“able”三个Token。中文里，一个汉字大约对应1到2个Token，“你好”可能是两个Token，“人工智能”可能是两到三个Token。知道这个概念很重要，因为上下文窗口是按Token算的，API调用也是按Token计费的。
上下文窗口是模型一次对话中能看到的文本总量上限，单位是Token。4K Token大约能容纳2000到3000个中文字符，32K Token大约16000到24000字，128K Token大约64000到96000字，1M Token可以容纳50万到75万字——相当于三体三部曲的体量。在RAG场景中，上下文窗口决定了你能一次性塞给模型多少检索到的文本片段。
Temperature控制回答的随机性。设为0时，模型每次都选概率最高的词，输出最确定、最稳定。设为0.7左右时，模型在高概率词里随机选择，回答更自然。设为1.0或更高时，输出更随机、更有创造力，但也更容易胡说八道。在RAG问答场景，我们通常把Temperature设得很低（0到0.3），因为答案已经在检索到的文本里了，模型不需要发挥，只需要忠实整理。
MoE（混合专家架构）是近年来大模型的重要演进。传统的大模型是“稠密模型”，处理每个输入时所有参数都参与计算。MoE模型内部有多个“专家”，每次只激活其中一部分来处理当前输入。比如DeepSeek-V3总参数量671B，但每次只激活37B，这意味着它拥有671B的知识容量，但推理计算量只相当于37B的模型。MoE的本质是用更低的计算成本获得更强的模型能力。
二、基座模型 vs Chat模型：你必须知道的关键区别
这是模型选型中最容易被忽略、却至关重要的一点。
大模型的训练分为两个阶段。第一阶段是预训练，让模型阅读海量文本数据，学习语言规律。这个阶段产出的叫基座模型。基座模型有一个特点：它只会续写。你给它一句话，它会接着往下写，但它不会按照指令回答问题。
举个例子，你给基座模型输入“中国的首都是”，它可能会续写出“北京，是中华人民共和国的政治中心、文化中心……”。看起来像是在回答问题，但它只是在做文本续写，因为训练数据里“中国的首都是北京”这句话出现过很多次。
但如果你对它说：“请判断以下用户反馈的情绪是正面、负面还是中性，只输出情绪类别。用户反馈：物流太慢了，等了一周才到。”基座模型大概率不会乖乖输出“负面”，而是会继续写下去——比如再编几条用户反馈，或者写一段关于情绪分析的介绍。因为它不理解这是一个指令，它只是在预测最可能出现的下一个词。
第二阶段是对齐训练。在基座模型基础上，通过指令微调和人类反馈强化学习，教会模型理解人类指令。这个阶段产出的是Chat模型（也叫Instruct模型）。
基座模型是读了很多书但不会答题的学生，Chat模型是既读了书又经过面试培训、懂得如何与人沟通的员工。
在本地部署时，我们几乎总是需要Chat模型。如果你的数据是对话、问答、指令跟随类任务，不要用基座模型。只有当你明确要做文本续写这种特殊任务时，基座模型才派得上用场。
2.1 如何通过命名规则识别Chat模型
不同系列的模型命名规则不太一样，但有一些通用规律。
Qwen系列中，Qwen2.5-7B-Instruct的“Instruct”后缀明确表示这是Chat模型。到了Qwen3系列，默认发布的就是Chat模型，所以直接叫Qwen3-7B。
DeepSeek系列中，DeepSeek-V3和DeepSeek-R1都是Chat模型，V3是通用对话，R1专门强化了推理能力。
Llama系列中，Llama-3-8B-Instruct是Chat版本，而Llama-3-8B就是基座模型，两者差别很大，千万别下错。
还有一个常见的情况：同一个模型在不同平台上的命名可能不同。比如Qwen2.5-7B-Instruct在Hugging Face上叫这个名字，在Ollama上可能简化为qwen2.5:7b，在SiliconFlow API上可能叫Qwen/Qwen2.5-7B-Instruct。如果你不确定某个模型是不是Chat版本，可以查看平台的模型说明页面，或者通过Ollama的modelfile查看是否包含对话模板。
三、本地部署时的三个核心维度
选模型不是越大越好，也不是越新越好。你要从三个维度来综合考量。
3.1 模型的“智商”：参数量与架构
参数量越大，模型的“智商”通常越高。8B模型可以应付日常对话和简单问答，14B到32B模型能处理中等复杂度的推理和代码生成，72B及以上模型能力接近GPT-4。
MoE架构是一个节拍器：它的总参数很大（知识容量大），但激活参数很小（推理成本低）。选MoE模型时，你需要关注的是激活参数，而不是总参数。
3.2 你能出多少钱：硬件成本
这是最现实的问题。根据你手里的显卡，可以快速定位可选的模型范围：
如果你只有CPU或者集成显卡，那么只能跑1.7B到3B的Q4量化模型，Ollama + GGUF格式是你最好的朋友。
如果你有4到6GB显存的入门级独立显卡（比如GTX 1060、RTX 2060），可以跑7B到8B的Q4量化模型，Qwen2.5-7B-Instruct-GPTQ-Int4或Llama-3-8B-Instruct的GGUF Q4版本都在这个范围内。
如果你有8到12GB显存的主流显卡（RTX 3060/3070/4060），7B到8B的Q8或未量化版本可以跑，14B的Q4版本也可以尝试。Qwen3-14B的GPTQ/AWQ量化版是这个区间的甜点。
如果你有16到24GB显存的高端显卡（RTX 3090/4090），14B到32B的Q4版本甚至32B的未量化版本都跑得动。Qwen3-32B或Llama-3-70B的Q4版本可以考虑。
如果你有多卡或专业显卡（A100/H100），72B及以上可以随意跑，MoE模型如DeepSeek-V3的量化版也能部署。
3.3 你可以等价多少时间：推理速度
推理速度取决于三个因素：模型大小（参数量 + 精度）、硬件性能、推理框架优化。
对于实时对话场景，用户期望首token延迟在0.5到1秒以内，生成速度在20到50 token/秒。这个要求下，7B-8B模型在RTX 3090上基本能达到。14B模型会慢一些，但还可以接受。32B及以上模型除非在高性能显卡上，否则很难满足实时性要求。
对于批量离线处理场景（比如分析一万条用户反馈），几秒甚至十几秒的延迟是可以接受的，可以接受更大的模型。
四、模型量化：在硬件上跑大模型的关键技术
这是整个本地部署中最关键的技术——没有量化，消费级显卡根本跑不动大模型。
4.1 量化是什么
大模型的参数本质上就是一堆数字。每个参数在训练时通常用BF16（16位浮点数）存储，每个参数占2个字节。一个7B模型光是存储权重就需要大约14GB显存。
量化就是把模型权重从较高精度压缩到较低精度，比如从BF16压缩到INT8（8位整数）或INT4（4位整数）。精度低了，每个参数占用的空间就小了。INT8每个参数占1字节，INT4只占0.5字节。
量化就是用一点点精度损失，换取巨大的显存节省。一块24GB的RTX 3090，如果用BF16来跑7B模型，刚好装下权重（14GB）加上KV Cache和激活值，勉勉强强。如果用INT4量化，7B模型只需要约3.5GB显存，同一张卡可以轻松跑起来，甚至还能跑更大的14B模型。
4.2 为什么BF16成了默认精度
在展开量化之前，有必要先搞清楚BF16是什么，以及为什么它取代了FP16成为大模型的主流格式。
计算机用浮点数来表示小数。一个浮点数由三部分组成：符号位（正负）、指数位（表示范围）、尾数位（表示精度）。不同的浮点格式，本质就是在范围和精度之间做取舍。
FP32是传统的“全精度”，范围大、精度高，但每个参数占4个字节，太占显存。FP16每个参数只占2个字节，但它的指数位只有5位，能表示的数值范围很小（最大约65535），训练时很容易溢出。BF16也是2个字节，但它的指数位有8位（和FP32一样），范围非常大，只是牺牲了一点精度。对于大模型来说，数值溢出是致命错误，而精度低一些还可以接受。所以BF16成了训练和推理的主流选择。
当你下载一个“未量化”的模型，比如“Qwen3-7B”，它默认就是BF16格式。
4.3 三种主流量化格式
在Hugging Face上下载模型时，你会看到GPTQ、AWQ、GGUF这些后缀。它们分别适用于不同的场景。
GPTQ是最早被广泛采用的GPU量化格式，需要GPU推理，量化后精度较好，社区支持非常广泛。很多网红模型微调后首选发布GPTQ版本。适合有NVIDIA显卡、追求推理性能的场景。
AWQ是较新的方案，同样需要GPU推理，比GPTQ更快，精度相当，在某些模型上表现更好。也是一个很好的选择。
GGUF是llama.cpp生态的标准格式，最大的特点是支持CPU推理（当然也支持GPU加速）。如果你的显卡显存不够，或者压根没有显卡，GGUF是最佳选择。它可以在内存足够的情况下用CPU跑，速度虽然慢一些，但至少能跑起来。
选型建议很简单：有NVIDIA显卡优先选AWQ或GPTQ；显卡不够或者想用CPU跑，就选GGUF。
以GGUF为例，量化等级通常用Q4_K_M、Q5_K_M、Q8_0这样的标注。数字越大精度越高、文件越大。Q4_K_M是4位量化，体积最小，性价比最高，适合大多数显存紧张的场景。Q5_K_M是5位量化，效果和体积的平衡点。Q8_0接近原始精度，但体积也大得多。一般来说INT4（Q4_K_M）就够用了，除非你对输出质量有苛刻要求。
五、主流开源模型选型对比
选模型的核心思路是：在你能承担的硬件成本下，选择综合能力最强的那一个。综合能力包括中文支持、推理能力、代码能力、社区生态、上下文长度等多个维度。
下面我用几组对比来帮你快速定位。
第一组：入门级（适合RTX 3060/4060，8-12GB显存）
在这个区间，7B到8B模型是你的主要目标。
Qwen3-8B是目前8B级别的标杆。中文效果极好，能力全面，从问答到代码到推理都比较均衡。原生支持32K上下文（可通过YaRN扩展到131K），Apache-2.0许可证，可商用。部署上，GGUF和GPTQ/AWQ版本都很成熟，8GB显存可以跑Q4版本，12GB显存可以跑Q8或BF16版本。这是目前最稳妥的选择。
Llama-3-8B-Instruct是国际最强8B模型，英文能力极强，代码能力优秀，对中文支持一般（需要单独的中文微调版本）。许可证较宽松，但中文场景下除非你有能力自己做中文微调，否则推荐度不如Qwen。
DeepSeek-V3-Lite是DeepSeek V3的小尺寸版本（约7B），继承了DeepSeek的强推理基因。社区相对较新，部署资料不如前两者丰富，适合想尝鲜Advanced用户。
结论：入门级首选Qwen3-8B。
第二组：进阶级（适合RTX 3090/4090，24GB显存）
24GB显存可以跑14B到32B的INT4量化版本，或者8B到14B的BF16版本。
Qwen3-14B是Qwen系列的中坚力量，比8B有质的提升，推理和代码能力全面超越，32K原生上下文，Apache-2.0许可证。24GB显存可以轻松跑BF16版本，性能接近GPT-3.5水平。
Qwen3-32B是Qwen系列的次旗舰，能力接近顶级闭源模型，32K上下文，Apache-2.0许可证。24GB显存需要跑Q4量化版本，效果仍然非常出色，适合对效果要求高、能接受量化损失的场景。
DeepSeek-V3-MoE虽然总参数很大（671B），但激活参数只有37B，理论上24GB显存可以跑Q4版本。社区已有GGUF和GPTQ的量化版本，性价比极高。
结论：追求效果选Qwen3-32B，追求性价比选DeepSeek-V3-MoE的量化版。
第三组：旗舰级（需要多卡或A100/H100）
这个级别的模型通常用于API服务或企业级应用，个人跑起来成本很高。
DeepSeek-V3总参数671B，激活37B，128K上下文，MIT许可证可商用。性价比极高，API价格也很低。本地部署需要多卡，比如两张RTX 4090可以跑Q4版本。
Qwen3.5-397B-A17B总参数397B，激活17B，262K上下文，Apache-2.0许可证。Agent能力比DeepSeek更强，适合复杂任务。
Llama-4-Maverick总参数400B，激活17B，1M上下文，多模态理解能力强。本地部署生态最成熟，中文需要单独微调。
结论：旗舰级根据自己的任务特点选择——推理选DeepSeek，Agent选Qwen，多模态选Llama。
六、不同场景下的选型建议
场景一：通用对话 / 客服问答
这种场景对中文理解要求高，需要模型能准确理解用户意图。Qwen3-8B在8-12GB显存下是最佳选择，Qwen3-14B在16GB显存下效果更好。如果硬件很紧张，可以降级到Qwen3-1.7B配合GGUF Q4。
场景二：代码生成 / 技术问答
代码生成需要模型熟悉编程语言和框架。DeepSeek系列在代码能力上有天然优势，DeepSeek-R1的7B版本专门强化了推理和代码生成。Qwen3-14B/32B的代码能力也很强。如果追求极致代码能力且硬件允许，Llama-3-8B的英文代码能力是最强的，但中文支持需要额外处理。
场景三：RAG（检索增强生成）
RAG场景对上下文长度有要求，因为需要把检索到的文档片段都塞给模型。32K是基本线，128K更好。Qwen3-14B/32B原生支持32K，可通过YaRN扩展到131K。DeepSeek-V3支持128K，非常适合。RAG场景下模型不需要太强的推理能力（因为答案在文档里），但对指令遵循能力要求高。Temperature要设得很低（0到0.3）。
场景四：数据分析 / 报表解读
这类任务需要模型有较强的推理和结构化理解能力。Qwen3-14B和DeepSeek-V3-Lite都是好选择。如果数据量大，对上下文长度有要求，DeepSeek-V3的128K上下文更适合。
七、实操：如何快速开始
如果你看完上面的分析还是不知道该怎么选，我直接给你几个经过验证的组合。
组合一：新手起步，硬件未知。先不要考虑本地部署，直接用API调用来验证想法。SiliconFlow上Qwen3-8B免费，注册就有额度。等验证通过、明确了需求，再回来选模型。
组合二：8GB显存，想跑7B模型。下载Qwen3-8B的GGUF Q4_K_M版本，用Ollama或llama.cpp加载。命令行ollama run qwen3:8b就能跑起来，推理速度约20-30 token/秒。
组合三：12GB显存，想要更好效果。下载Qwen3-14B的GPTQ或AWQ Q4版本，用AutoGPTQ或vLLM加载。效果明显优于8B模型。
组合四：24GB显存，追求极致。下载Qwen3-32B的GPTQ Q4版本，配合vLLM做高性能推理。这是单卡能跑出的最好效果。
组合五：没有显卡，只有内存。下载Qwen3-8B的GGUF Q4_K_M版本，用llama.cpp的CPU模式运行。16GB内存可以运行8B模型，速度约1-3 token/秒，慢但是能用。
八、总结与避坑指南
核心要点
本地部署模型选择的核心逻辑可以概括为：明确任务类型，然后选择能承担硬件成本下的最强Chat模型。模型选型的时候，参数量不是唯一标准，MoE架构要看激活参数，量化版本INT4通常够用，上下文长度RAG场景32K起步。数据安全第一，不要用在线API处理敏感数据。
常见陷阱
不要下载基座模型做对话——很多人直接从Hugging Face下载了Llama-3-8B而不是Llama-3-8B-Instruct，然后抱怨模型不听话。命名里有“Instruct”或“Chat”才是对话版。
不要盲目追求大参数——8B量化版往往比32B未量化版更容易部署、速度更快，效果差异未必如你想象的那么大。
不要忽视上下文长度——有些模型参数大但上下文短，RAG场景下可能不够用。
不要高估自己的显卡——下载模型前先用显存计算公式估算一下：BF16模型需要参数量（B）×2GB，INT4需要×0.5GB，再加20%到30%的KV Cache开销。
九、GPU选型：本地部署的硬件基础
在讨论具体模型选型之前，你需要先搞清楚一个问题：你的机器里装的是什么显卡？或者你打算买什么显卡？这是所有本地部署决策的起点。
9.1 本地AI显卡的核心选购标准
2026年的本地AI显卡市场与过去几年有了明显变化，选购时需要关注三个核心维度。
第一个是显存容量。这是最重要的指标，因为大模型推理时，模型权重必须全部装在显存里。16GB已成为本地AI的入门门槛，运行7B到13B参数量的模型，16GB显存是基本要求；如果要跑更大参数的模型或者追求更好的精度，24GB甚至32GB显存会更从容。
第二个是AI算力。NVIDIA显卡中的Tensor Core专门负责AI计算，第五代Tensor Core能够提供数百到数千TOPS（每秒万亿次运算）的AI算力。算力越高，模型推理的速度越快，生成token的延迟越低。
第三个是架构前瞻性。2026年主流选择是基于Blackwell架构的RTX 50系列显卡，它们支持DLSS 4、FP8/INT8加速等新技术，能确保未来3到5年内不被淘汰。
9.2 主流型号深度对比
根据不同预算和需求，我整理了五款主流型号的对比数据。
RTX 5060 Ti是目前入门级的性价比之选，配备12GB GDDR7显存，AI算力约1000 TOPS，价格在2700元左右。它能跑7B参数的Q4量化模型，适合入门级本地AI学习和轻量级应用。但显存容量是它的短板，处理复杂任务时可能面临显存不足的限制，适合预算有限的初学者。
RTX 5070 Ti是2026年本地AI显卡市场中综合表现最均衡的选择。它基于Blackwell架构，配备16GB GDDR7显存，显存带宽达到896GB/s，AI算力约1406 TOPS，价格在6300到6800元之间。16GB显存能满足大多数模型运行需求——包括7B到13B参数的量化模型、Stable Diffusion图像生成等。金属大师系列的散热设计确保长时间AI任务运行稳定，这是很多用户容易忽视但实际重要的因素。对于绝大多数个人开发者和中小团队，这是最值得推荐的型号。
RTX 5080定位次旗舰，拥有更多CUDA核心，同样配备16GB GDDR7显存，AI算力达到1801 TOPS。价格相应上涨到8000元以上，性能提升与价格增幅的比值需要谨慎考量，适合对性能要求更高的专业用户，但显存并没有增加，性价比不如5070 Ti。
RTX 5090D是2026年旗舰级显卡，配备32GB GDDR7显存和512bit显存位宽，AI算力超过2000 TOPS，售价超过20000元。32GB显存可以轻松运行32B甚至70B参数的量化模型，适合需要处理超大参数模型和复杂AI工作流的专业工作室和企业级用户。对于个人开发者，除非你明确知道自己需要32GB显存，否则性价比相对有限。
AMD RX 7900XTX代表AMD阵营的高端选择，拥有24GB显存，在传统图形处理领域表现优异。但在AI加速方面，由于缺乏专用的Tensor Core架构，运行本地AI模型时需要依赖软件优化和ROCm生态支持，整体效率与NVIDIA显卡存在明显差距。适合主要进行图形创作、偶尔运行AI任务的用户。
9.3 选购建议总结
综合来看，选购策略可以这样制定：如果你的预算在3000元以下，从RTX 5060 Ti起步学习，但需接受显存容量带来的限制，适合运行7B模型的INT4量化版。预算在6000到7000元，RTX 5070 Ti是目前最划算的选择，16GB显存加上1406 TOPS算力，可以流畅运行7B到13B的量化模型，也能跑14B到32B的INT4版本。预算在8000元以上，RTX 5080适合追求性能的专业用户，但显存没有增加，真正需要大显存的场景建议直接上RTX 5090D。
另外需要注意，NVIDIA的RTX 3090/4090虽然不属于50系列，但24GB大显存让它们仍然是本地AI部署的热门选择，二手市场上的性价比很高。一块二手RTX 3090（24GB）的价格远低于RTX 5090D（32GB），但显存只差8GB，是预算敏感的进阶用户的最佳选择。
选型结论：首推RTX 5070 Ti（16GB），预算充足上RTX 5090D（32GB），预算有限收二手RTX 3090（24GB）。AMD显卡目前仍不推荐作为AI推理主力。
十、超越单卡：多卡部署与集群架构
当你需要运行更大参数的模型（如70B、671B MoE），或者需要支撑更高的并发请求时，单张显卡的显存和算力就会成为瓶颈。这时候就需要考虑多卡部署甚至多机集群。
10.1 为什么要多卡
单卡能装下的模型参数是有上限的。一张24GB显存的RTX 3090，BF16精度只能装下约12B参数（24GB ÷ 2字节/参数），INT4量化也只能装下约48B参数（24GB ÷ 0.5字节/参数）。如果你想跑70B的Llama-3-70B或DeepSeek-V3（671B总参数，激活37B），单卡远远不够。
多卡方案通过以下方式突破单卡限制：
张量并行是把单层内的矩阵运算拆分到多张卡上。比如一个4096×4096的矩阵乘法，可以切成4份，每张卡算一个1024×4096的块，最后通过All-Reduce通信同步结果。这种方式通信密集，适合NVLink高带宽连接的同一节点内多卡。
流水线并行是按层拆分：0-15层放在GPU 0上，16-31层放在GPU 1上。数据像流水线一样依次经过各卡。这种方式通信较少，但存在GPU空闲的“气泡”问题。
专家并行专门用于MoE模型：不同的专家分布在不同的卡上，每次推理只激活相关的专家所在的卡，大幅降低计算量。DeepSeek-V3的37B激活参数，通过专家并行可以更高效地分布在多卡上。
10.2 单机多卡部署实战
对于单机多卡场景（例如一台服务器插了4张或8张RTX 4090），最常用的推理框架是vLLM。它原生支持张量并行和多卡部署。
部署命令示例：
python-mvllm.entrypoints.openai.api_server\--model/path/to/Qwen3-32B\--tensor-parallel-size4\--pipeline-parallel-size1\--dtypebfloat16\--gpu-memory-utilization0.9\--max-model-len32768参数说明：--tensor-parallel-size 4表示将模型切分到4张卡上并行计算；--gpu-memory-utilization 0.9表示每张卡使用90%显存，留10%给系统缓冲；--max-model-len设置最大上下文长度，越长占用显存越多。
实测数据显示，一张RTX 3090跑Qwen3-32B的INT4版本，在4096上下文下吞吐量约120 tokens/s。升级到4卡张量并行后，吞吐量达到850 tokens/s，加速比约7倍（通信开销造成了部分损耗）。
10.3 多机多卡集群
当单节点无法满足需求时，就需要扩展到多台服务器组成的集群。集群部署涉及三个核心问题。
网络通信是多机部署的第一道坎。节点间的All-Reduce通信需要高带宽低延迟的网络。实测显示，万兆以太网（10Gbps）是基本要求，但通信开销占比可能达到30%以上；RDMA网络（如InfiniBand或RoCE，100Gbps以上）是理想选择，可以将通信时间压缩到微秒级。
集群管理工具推荐使用Kubernetes进行容器编排。通过K8s可以统一管理GPU资源、自动调度容器、配置负载均衡、实现自动扩缩容。下面是一个典型的K8s Deployment配置示例：
apiVersion:apps/v1kind:Deploymentmetadata:name:llm-inferencespec:replicas:4template:spec:containers:-name:inference-engineimage:vllm/vllm-openai:latestresources:limits:nvidia.com/gpu:1volumeMounts:-name:model-storagemountPath:/modelsvolumes:-name:model-storagepersistentVolumeClaim:claimName:model-pvc在多机环境下启动分布式推理服务，需要配置张量并行和流水线并行的组合，以及节点间通信参数：
python-mvllm.entrypoints.openai.api_server\--model/path/to/DeepSeek-V3\--tensor-parallel-size8\--pipeline-parallel-size2\--distributed-executor-backend ray\--nnodes2\--node-rank0混合云弹性架构是成本优化的重要手段。平时流量由本地GPU集群承接（已经采购的硬件，无额外成本）；当本地推理服务饱和时，自动在云端（如AWS EKS）拉起GPU实例作为兜底；流量回落后，云端实例自动缩容到零，实现零成本待机。
通过这类方案，企业可在利旧本地GPU的同时，借助云上弹性算力应对流量尖峰，实现“本地优先、云上兜底、用完即还”的混合推理策略。
10.4 推理框架选型
当前主流的大模型推理框架各有特点：
vLLM是目前社区最活跃的开源推理框架。它的核心创新是PagedAttention内存管理，将传统KV缓存的连续存储改为分页式管理，显存利用率提升40%以上。同时支持连续批处理，可将不同长度的请求动态拼接，使GPU利用率稳定在90%以上。vLLM原生支持张量并行和流水线并行，社区文档丰富，部署门槛低，是大多数场景的首选。
NVIDIA NIM是企业级推理微服务，预编译了针对不同GPU架构优化的TensorRT-LLM引擎，开箱即用。冷启动时间约5-6分钟（RayServe需要12-15分钟），用更少的资源达到更好的性能。特别适合追求稳定性、需要企业级支持的生产环境。
国产算力平台方案针对华为昇腾、寒武纪等国产NPU做了定制优化，支持张量并行、流水线并行和专家并行的三维混合策略，配合RDMA网络可实现亚微秒级通信延迟。适合需要在国产化硬件上部署大模型的信创场景。
10.5 部署策略选择
综合来看，部署策略的选择取决于你的具体场景：
如果你只需要跑7B到14B模型，且并发量不大，单卡足够，RTX 5070 Ti或二手RTX 3090就能满足需求，部署最简单，无需考虑通信问题。
如果需要跑32B到70B模型，但只有一张卡或两张卡，INT4量化配合2卡张量并行是最优方案。可以勉强运行，但在长上下文或高并发下可能吃力。
如果需要跑70B以上模型或高并发服务，4卡以上张量并行是必需的，可能需要4到8张卡。需要配置高速互联（NVLink或RDMA网络），并选择合适的推理框架。
如果需要支撑企业级高并发或全球多地域服务，K8s集群配合云端弹性伸缩是最佳选择。需要投入更多的工程资源搭建监控、日志、自动扩缩容等基础设施，但长期来看成本可控且扩展性好。
一句话总结：单机能跑就不上多卡，单卡能跑就不上多机。多卡部署是解决显存瓶颈的最后手段，不是第一选择。优先选择更小的量化模型，优先利用好单卡显存容量，只有当这些都不够时，才考虑分布式方案。
最后一句
本地部署大模型不是越贵越好、越大越好，而是在你的硬件约束下，找到那个最能满足业务需求的平衡点。从入门级模型开始，跑通流程之后再逐步迭代升级，才是务实之路。
