054 开源模型对比：LLaMA 3、Mistral、Qwen、DeepSeek选型指南
上周帮客户调一个RAG问答系统，对方坚持用LLaMA 3 8B做embedding，结果中文检索准确率惨不忍睹，召回率不到40%。我换了个Qwen2.5 7B的embedding模型，同样的数据，召回直接跳到78%。客户问我：“都是开源大模型，差距怎么这么大？”这个问题其实问到了开源模型选型的核心——没有万能模型，只有最适合场景的模型。
今天这篇笔记，我把手头几个主流开源模型在真实项目中的表现、踩过的坑、以及选型决策树整理出来。不搞理论堆砌，全是实战血泪。
模型家族速览：谁是谁
LLaMA 3：Meta出品，8B和70B两个主力版本。英文生态的王者，社区支持最丰富，但中文能力是硬伤。8B版本在消费级显卡上能跑，70B需要至少两张A100。
Mistral：法国团队搞的，7B和Mixtral 8x7B两个明星。MoE架构（混合专家）是亮点，推理速度快得离谱。7B模型在单卡RTX 3090上能跑，Mixtral需要24GB以上显存。
Qwen（通义千问）：阿里出品，1.8B到72B全系列。中文能力在开源模型里属于第一梯队，7B版本在中文NLP任务上经常吊打同参数量的LLaMA。72B版本需要4张A100。
DeepSeek：深度求索出品，7B和67B。数学和代码能力突出，训练数据里代码占比高。7B版本在消费级显卡上能跑，67B需要多卡。
真实场景下的性能对比
中文理解：Qwen > DeepSeek > Mistral > LLaMA 3
这个排序基本是定论。Qwen的中文分词、成语理解、古诗词生成，明显比其他模型高一个档次。DeepSeek在中文代码注释和文档理解上表现不错，但日常对话稍显生硬。
我做过一个测试：让四个模型解释“画蛇添足”这个成语。Qwen给出了准确解释并附带使用场景；DeepSeek解释正确但例子生硬；Mistral把“蛇”理解成了“snake”，解释方向偏了；LLaMA 3直接输出了一段英文解释，然后说“这个成语在中文中表示…”——它先默认用户要英文回答。
这里踩过坑：如果你做中文客服系统，别用LLaMA 3做基座模型。除非你愿意花大量精力做中文微调，但微调后的效果也不如原生中文模型。
代码生成：DeepSeek > Mistral > Qwen > LLaMA 3
DeepSeek在代码任务上确实有两把刷子。我测试过生成一个Python异步爬虫，DeepSeek 7B生成的代码结构清晰，异常处理完整，甚至考虑了反爬机制。Mistral 7B生成的代码能用但不够健壮。Qwen生成的代码偏“教科书”，缺少实战细节。LLaMA 3生成的代码经常出现Python 2的语法——这暴露了它的训练数据时效性问题。
别这样写：别以为代码生成只看模型大小。DeepSeek 7B在代码任务上经常吊打LLaMA 3 70B，因为它的训练数据里代码占比高，而且专门优化了代码理解能力。
推理速度：Mistral > DeepSeek > Qwen > LLaMA 3
Mistral的MoE架构在这里占了便宜。同样是7B参数，Mistral的推理速度比Qwen快30%左右。实测在RTX 4090上，Mistral 7B的token生成速度能达到80 tokens/s，Qwen 7B大概60 tokens/s，LLaMA 3 8B只有50 tokens/s。
DeepSeek 7B的速度介于Mistral和Qwen之间，大概70 tokens/s。但DeepSeek 67B的速度就慢下来了，因为它的架构没有MoE优化。
这里踩过坑：如果你做实时对话系统，优先考虑Mistral。但要注意，Mistral的MoE架构在批处理场景下优势不明显，单条推理才快。
数学推理：DeepSeek > Qwen > Mistral > LLaMA 3
DeepSeek在数学任务上表现突出，尤其是代码辅助的数学推理。我测试过一道微积分题：“求∫x²sin(x)dx”。DeepSeek给出了分部积分法的完整推导，还附带了Python验证代码。Qwen给出了正确结果但推导过程不够详细。Mistral和LLaMA 3都出现了符号错误。
别这样写：别以为数学能力只跟模型大小相关。DeepSeek 7B在数学任务上经常超过LLaMA 3 70B，因为它的训练数据里数学题和代码的比例高。
部署成本与硬件要求
| 模型 | 最小显存要求 | 推荐硬件 | 量化后显存 |
|---|---|---|---|
| LLaMA 3 8B | 16GB | RTX 3090/4090 | 8GB (4bit) |
| LLaMA 3 70B | 140GB | 4×A100 80GB | 35GB (4bit) |
| Mistral 7B | 14GB | RTX 3090 | 7GB (4bit) |
| Mixtral 8x7B | 48GB | 2×A100 40GB | 24GB (4bit) |
| Qwen 7B | 14GB | RTX 3090 | 7GB (4bit) |
| Qwen 72B | 144GB | 4×A100 80GB | 36GB (4bit) |
| DeepSeek 7B | 14GB | RTX 3090 | 7GB (4bit) |
| DeepSeek 67B | 134GB | 4×A100 80GB | 34GB (4bit) |
这里踩过坑：别只看模型参数大小。Mixtral 8x7B虽然总参数量56B，但每次推理只激活约12B参数，实际显存占用比LLaMA 3 70B小得多。如果你只有两张A100，跑Mixtral比跑LLaMA 3 70B更现实。
选型决策树
我总结了一套实战选型逻辑，按场景分类：
场景一：中文对话/客服系统
选Qwen 7B或72B。别犹豫，中文能力是硬门槛。如果预算有限，Qwen 7B量化到4bit，一张RTX 3090就能跑。如果追求极致效果，上Qwen 72B，但需要至少4张A100。
场景二：英文代码生成/辅助编程
选DeepSeek 7B或Mistral 7B。DeepSeek在代码质量上略胜一筹，Mistral在推理速度上占优。如果做IDE插件，Mistral的响应速度更友好。如果做代码审查，DeepSeek的代码理解更深入。
场景三：多语言通用问答
选Mistral 7B或Mixtral 8x7B。Mistral的多语言能力均衡，法语、德语、西班牙语表现不错。中文虽然不如Qwen，但比LLaMA 3强。如果预算充足，Mixtral 8x7B在综合能力上接近GPT-3.5。
场景四：数学/科学计算
选DeepSeek 7B或67B。数学推理是DeepSeek的强项。如果做教育类应用，DeepSeek 7B量化后就能满足大部分需求。如果做科研辅助，上DeepSeek 67B。
场景五：低延迟实时系统
选Mistral 7B。推理速度是硬指标。Mistral 7B在单卡上能达到80 tokens/s，比Qwen快30%。如果做语音助手或实时翻译，Mistral是首选。
场景六：资源受限的边缘设备
选Qwen 1.8B或DeepSeek 1.3B。这两个小模型在手机或嵌入式设备上能跑。Qwen 1.8B的中文能力在小模型里最强，DeepSeek 1.3B的代码能力突出。
实战中的坑与经验
坑一：模型版本混乱
LLaMA 3有8B和70B，但8B又分基础版和指令版。Qwen有2.5和2.0版本，2.5的中文能力比2.0强很多。DeepSeek有V2和V3版本，V3的数学能力大幅提升。选型时一定要确认具体版本号，别只看模型名字。
坑二：量化后的性能损失
4bit量化后，Qwen的中文能力损失最小，大概5%以内。LLaMA 3的英文能力损失也小，但中文能力损失更大，可能达到15%。DeepSeek的代码能力在量化后损失约10%。Mistral的推理速度在量化后提升不明显，因为MoE架构本身已经很快。
坑三：微调成本差异
Qwen的微调生态最完善，有官方微调工具和大量社区教程。DeepSeek的微调文档相对简略，需要自己摸索。LLaMA 3的微调社区最活跃，但中文微调效果不如Qwen。Mistral的微调工具较少，但LoRA微调效果不错。
坑四：长上下文处理
Qwen 2.5支持128K上下文，实测在64K内表现稳定。DeepSeek V3支持128K，但超过32K后性能下降明显。LLaMA 3支持8K上下文，扩展后不稳定。Mistral支持32K上下文，表现中规中矩。
个人经验性建议
别迷信“最大就是最好”。我见过太多项目一上来就上70B模型，结果部署成本爆炸，推理延迟高得离谱，最后发现7B模型量化后完全够用。选型的第一原则是：用最小成本满足业务需求。
如果你刚开始做AI应用，建议从Qwen 7B或Mistral 7B入手。这两个模型在消费级显卡上能跑，社区支持好，踩坑成本低。等业务验证通过后，再考虑升级到更大模型。
另外，别把鸡蛋放在一个篮子里。我现在的做法是：用Qwen 7B做中文理解和生成，用DeepSeek 7B做代码相关任务，用Mistral 7B做实时对话。三个模型加起来不到50GB显存，一张RTX 4090就能跑。效果比单一70B模型好，成本还低。
最后说一句：开源模型迭代太快，今天的最佳选择可能三个月后就过时了。保持关注，定期评估，别让选型变成一锤子买卖。
