V100 不是不支持 MoE，而是可以跑，但原生支持差、性能与显存受限，不适合现代大 MoE 训练/推理。
一、能不能跑？
- 能跑：已有案例在4×V100 16GB / 8×V100 32GB上运行 Mixtral、Qwen3、MiMo 等 MoE 模型（推理为主）。
- 无硬件禁止：MoE 是软件/架构层面的稀疏计算，不依赖特殊硬件指令；V100（Volta, sm70）支持 PyTorch/TensorFlow 分布式与专家并行（EP）。
二、关键限制（为什么常说“不支持”）
无 BF16/FP8 硬件支持
- V100 仅原生支持FP16/FP32/FP64；BF16/FP8 需软件模拟，速度慢、显存占用高。
- 现代 MoE（如 Mixtral 8×7B）常用 BF16，V100 只能用 FP16，显存翻倍、计算更慢。
显存瓶颈严重
- V100：16GB/32GB HBM2；A100/H100：40GB/80GB/94GB。
- MoE 总参数量大（如 8×7B=56B），单卡放不下，必须多卡 EP/TP；32GB 勉强跑小 MoE，16GB 极易爆显存。
NVLink 带宽低，通信瓶颈大
- V100：300GB/s 双向；A100：600GB/s；H100：900GB/s。
- MoE 依赖多卡 all‑to‑all 通信（专家分发/聚合），V100通信延迟高、吞吐低，大 MoE 下性能断崖式下跌。
缺少现代优化内核
- 无FlashAttention、PagedAttention、MoE 专用 fused kernel；vLLM/TensorRT‑LLM 对 sm70 优化少，需社区补丁才能跑。
三、实际结论
- ✅小 MoE 推理可行：如 Mixtral 8×7B（量化后）、Qwen3‑30B‑A3B，4–8 卡 V100 可跑，适合学习/小规模服务。
- ❌大 MoE 训练不推荐：如 GPT‑4 级、64+专家模型，速度极慢、显存不足、通信瓶颈严重，远不如 A100/H100。
- ❌生产环境不建议：性能/成本比差，同样算力下 A100 效率是 V100 的 2–3 倍。
四、一句话总结
V100 能跑 MoE，但受限于显存、带宽与指令支持，仅适合小规模推理；现代 MoE 训练/生产优先 A100/H100。
要不要我给你一份在 V100 上跑 MoE 的最小化启动脚本（含量化与并行参数）？
