1. 三年了，国产AI算力芯片到底有哪些牌子能打？
这两年问我国产AI算力芯片的人越来越多，问题基本长这样：“除了英伟达，国产的AI芯片到底有哪些？我们项目想留个Plan B，或者干脆就上国产方案，应该怎么选？”说实话，三年前这是个很尴尬的问题，能数的牌子一只手就够，而且大多停留在PPT和送测阶段。到了现在，牌桌上的人已经不少，但真正能稳定供货、软件栈能跟上、社区里有真实落地案例的，数来数去仍然没超过五家。
我先给一个全景视图，把当前市场上主要的国产AI算力芯片品牌、代表产品、技术路线大致列一遍，后面再逐个说我的使用感受。
| 品牌 | 代表产品系列 | 技术路线 | 主攻方向 | 软件栈关键字 | 生态成熟度 |
|---|---|---|---|---|---|
| 华为昇腾 | 昇腾310P / 910B / 910C | NPU | 云端训练+推理、边端推理 | CANN、MindIE、MindSpore | 最高 |
| 寒武纪 | 思元370 / 590 等 | NPU | 数据中心推理+训练、边缘推理 | BANG、NeuWare | 较高 |
| 海光信息 | 深算DCU系列 | GPGPU | 数据中心训练+推理 | HIP、ROCm兼容路线 | 中高 |
| 燧原科技 | 云燧i20 / i30 | NPU | 云端训练+推理 | 燧原自研SDK | 中等 |
| 摩尔线程 | MTT S4000 / S80 | GPU | 图形+通用计算+推理 | MUSA、CUDA迁移工具 | 中等 |
| 壁仞科技 | BR100 / BR104 | 通用GPU | 云端训练+推理 | 自研软件栈 | 偏低 |
| 天数智芯 | 天垓100 | 通用GPU | 训练+推理 | 自研软件栈 | 偏低 |
| 百度昆仑芯 | 昆仑芯P200系列 | 自研架构 | 自家云业务推理为主 | 自研 | 外部基本拿不到 |
| 阿里平头哥 | 含光800 | ASIC | 内部图像/推理业务 | 自研 | 外部基本拿不到 |
这张表已经把大方向说清楚了。但我要强调一句更重要的经验：判断一个牌子的芯片能不能用，不要只盯TOPS、TFLOPS这些数字，先问自己三个问题——能不能买得到货？SDK有没有人持续维护？社区里有没有人拿它真实跑通了你要用的模型？三个问题都答“是”的，掰着手指头数，其实没几个。
先说说华为昇腾。它是我目前见过生态最完整的国产AI算力芯片系列。昇腾310P主打边端推理，功耗低，适合AI盒子、边缘服务器这类场景；昇腾910B和910C则是数据中心级别的，训练和推理都能扛。软件栈层面有CANN作为统一编程接口，MindIE专门做推理引擎，MindSpore做训练框架，再加上昇腾对vLLM、PyTorch的适配一直在推进，整体用起来的体验在国产芯片里确实是独一档。
寒武纪是另一家绕不开的。它的思元系列在云端推理卡市场有一定存在感，尤其在某些智算中心的项目里出场率不低。寒武纪的BANG语言和NeuWare推理框架，和昇腾的CANN类似，属于自研封闭体系，能不能用好取决于官方算子库覆盖多少、PyTorch适配到位不到位。
海光和摩尔线程走的是另一条路：GPGPU兼容路线。海光的深算DCU基于类似GPU的架构，目标是让CUDA代码迁移成本更低；摩尔线程则是用MUSA这套生态做CUDA兼容。这条路的逻辑很简单——英伟达生态太强了，与其物理隔绝，不如先兼容、再迁移，让工程师不至于推倒重来。实际用下来，迁移成本确实低不少，但“兼容”不等于“百分百通用”，遇到冷门算子照样要自己改，性能也要重新调。
至于燧原、壁仞、天数，它们的技术底子不差，具体产品也各有亮点，但商业可持续性和社区生态是明显短板。你在项目选型时如果追求长期稳定交付，容错率会比较低。百度昆仑芯和阿里含光，基本属于“大厂内部自用”，外部团队主要在云服务里间接调用，别指望能拿到芯片自己开发。
2. 为什么突破口是推理和边端，而不是训练？
很多人一听国产AI芯片，第一反应就是“能不能训大模型”。这个想法可以理解，但方向其实偏了。真正适合国产芯片切入的战场，是推理和边端，而不是正面硬刚大模型训练。
先说训练。今天的大模型训练集群拼的已经不只是单卡算力，而是通信带宽、分布式并行框架、故障恢复、大规模调度，这些全都要往上叠。英伟达在这个领域积累了好多年，大规模集群的调度和通信库都是围绕CUDA生态转的。国产芯片要追上去，不是单卡性能拉平就完事，还得把整个训练体系做起来，包括HCCL这类集合通信库、分布式训练框架的适配、超节点之间的高速互联。这是一场体系化硬仗，短期内性价比不高。
训练还有一个特点：市场玩家少、任务重、换卡成本极高。一套训练集群动辄成百上千块卡，只有少数大厂和科研机构在买。选完卡之后，整个框架都锁定在上面了，后面再换芯片，迁移成本几乎等于重新搭一套生产系统。所以训练市场很难成为国产芯片的突破口——不是不想做，是周期太长、投入太大。
反过来看推理。推理是“一次训练、无数次调用”的持续消耗过程，一个模型在线上跑起来之后，每一次用户请求都在烧算力，并发越高、场景越多、推理算力需求越大。从行业统计来看，全球AI算力消耗中推理的占比一直在快速攀升，很多智算中心在实际运营中推理负载已经超过训练负载。需求的碎片化天然给不同芯片留了生存空间：对话机器人、语音识别、图像检测、辅助驾驶、视频分析，每个场景对芯片的诉求都不一样，有的要极低功耗、有的要超低时延、有的只要便宜。
推理场景的芯片设计逻辑也和训练完全不同。训练需要大量高强度矩阵运算，追求极致吞吐；推理则更看重时延、功耗、并发调度效率，并且允许特化。NPU和ASIC这类电路在推理上的优势，恰恰是“扔掉不必要的通用能力，专攻矩阵乘法和内存搬运”。打个不太严谨的比方，训练芯片是“全能重型卡车”，什么都得能拉；推理芯片是“市区穿梭的电动三轮车”，你只需要它跑固定路线，便宜、省电、好停车就行了。后者正是国产芯片更有机会做好的形态。
边端就更明显了。把模型推理下沉到数据产生的地方，本身就是确定的趋势：摄像头旁边、产线边缘、汽车里、机器人体内。这些场景有三个更切实际的需求：第一是隐私和数据不出域，很多行业的原始数据不能轻易上云；第二是离线可用性，现场网络一断，本地推理必须继续工作；第三是成本和功耗，端侧设备不可能像数据中心一样又大又耗电。这三个条件放在一起，几乎就是为国产AI算力芯片量身定制的赛区。边端对绝对算力的要求没那么高，反而更看重能效比、供货稳定性和定制化能力，这些恰好是国内芯片设计的强项。
3. 推理部署实测：别只看TOPS，要看tokens/s
讲完为什么，再说怎么用。无论你选哪个牌子的芯片，最后都得落到跑模型这件事上。我在国产芯片上部署LLM推理的环节踩过不少坑，下面这些经验应该能帮你省下几个礼拜的调试时间。
3.1 推理链路里最该盯的三个指标
做LLM推理部署，大部分人第一步是看官方标称的TOPS、TFLOPS，这其实是品牌宣传语言，不是工程语言。真正要盯的指标是以下三个：
首字延迟（TTFT, Time To First Token）。用户发一句话，模型第一个字多久出来。对话场景如果首字延迟超过一两秒，用户体感就会明显变差。这个指标受模型大小、输入长度、KV Cache命中、推理引擎的调度效率影响，跟芯片的“矩阵乘法峰值算力”关系反而不是最直接。
生成速度（tokens/s）。每秒生成多少个token，决定对话的流畅度。很多人说的“跑XX B模型多少 token/s”，指的就是这个。它更依赖内存带宽、算子的融合程度、量化方式。
并发吞吐量（综合TPS）。一个推理服务在同时处理N路请求时，每秒合计能出多少token。这个指标决定了你的服务器能支撑多少用户，直接关系到采购和扩容。
这三个指标组合起来，才是推理场景需要关注的“有效算力”。峰值算力可能高得吓人，但一旦多路并发、上下文变长、batch动态变化，实际表现可能掉得很难看。反过来，有些峰值算力平平的芯片，靠连续批处理和算子优化到位，在线上的吞吐反而很能打。
3.2 软件栈是真正的分水岭
国产AI算力芯片在片上算力的差距其实在缩小，真正拉开差距的是软件栈。目前市面上基本是三种形态：
第一种，完全自研封闭体系。典型代表是昇腾的CANN和寒武纪的BANG。这套路子的上限取决于官方算子库的覆盖度，以及推理框架的适配程度。某个关键算子没覆盖，你就得自己用低阶接口去写；某个推理引擎没适配，很多开源工具链带来的便利就用不上。昇腾好就好在投入大，对Qwen等主流模型的适配出得比较及时，寒武纪也在逐步追赶。
第二种，CUDA兼容路线。海光的HIP、摩尔线程的MUSA都属于这一类。好处是工程师的已有技能能直接迁移，很多CUDA代码可以直接编译或者小幅修改跑通；难点在于“兼容”不是100%覆盖，遇到冷门算子、特殊精度组合、特定优化库，还得自己手工改。迁移得越深，踩到的坑越细，比如某个算子函数名支持了但语义有细微差别，性能忽高忽低。
第三种，开源推理框架的适配层。比如昇腾的vLLM-Ascend、寒武纪对vLLM/SGLang的部分适配，以及各家推理引擎工具包。这一层做得好不好，决定了量产部署效率。我自己的经验是：判断一个国产芯片推理能力怎么样，别听发布会，直接去看vLLM支持哪些硬件后端、官方提供哪些模型适配示例。有就是有，没有就是没有，PPT里写“未来支持”的一律按没有算。
3.3 用国产芯片跑Qwen3-8B，真实记录的浮动区间
说点具体的。我在昇腾910B上用MindIE和vLLM的昇腾适配跑过Qwen3-8B，FP16权重，输入输出长度控制在2K以内，并发16路。记录下来的整体吞吐大致在每秒千级token的区间浮动，首字延迟在几十毫秒级别。这个数字放到英伟达上对比还有差距，但已经不是说不能用。真正值得注意的是版本波动——同一个模型、同一块卡，推理引擎换一个版本，性能就可能差出两倍，这在我测试初期非常常见。
如果你也准备在国产芯片上跑大模型推理，我的建议是先做四件事：
- 用你自己的业务数据跑一遍，不要用官方示例模型和脚本，官方示例普遍挑过算子，看不出真实水平；
- 连续跑至少一周，看重启频率、内存泄漏、显存碎片等生产环境问题；
- 对比至少两个推理引擎版本，看清楚性能差异和API变化，再锁定一个版本投入生产；
- 测一下长上下文场景下的表现，很多NPU在序列长度拉到4K以上时，会因为内存带宽和KV Cache管理而明显掉速。
对了，如果你对推理引擎的内部机制感兴趣，可以去翻一翻vLLM这类开源项目的源码，重点看PagedAttention和连续批处理（Continuous Batching）的实现。理解了这两个东西，你就知道为什么“峰值算力高”不等同于“在线吞吐高”。现在社区里也有专门让学习者读源码的迷你项目，把引擎最核心的调度逻辑剥出来讲，对理解推理性能瓶颈特别有帮助。
4. 边端落地的“非芯片”坑：功耗、带宽与软件适配
云端的推理，好歹还有服务器、机房、运维团队兜底。到了边端，情况完全不一样，很多做惯了云端的人一上手就被打懵。芯片本身倒是没什么大问题，真正出问题的全是芯片之外的工程细节。
4.1 散热和功耗，直接影响标称算力
边端设备普遍是密闭小盒子，没有机房空调，没有强风冷。一个整机功耗只有25W的边缘AI盒子，芯片、内存、网口、散热全部挤在一个巴掌大的空间里。标称算力再高，散热压不住，触发降频之后实际吞吐直接跳水，这是最容易被忽略的问题。
我见过一个项目，选了标称INT8算力很高的一块边端推理卡，结果装进无风扇壁挂盒子里，连续满载跑半小时后温度飙升，推理帧率掉到标称的三分之一。后来是加散热片、调整推理线程的负载分配、压低部分算子的功耗方式，才把稳态性能稳住。所以选边端芯片时，不要只看算力，要问三个更实际的问题：持续满载的功耗是多少？支持的散热方案是什么？带载条件下能稳定跑多久不掉速？
4.2 内存带宽和KV Cache，决定能跑多大模型
边端芯片绝大多数用的是LPDDR4X、LPDDR5这类低功耗内存，带宽通常在几十GB/s级别，和云端HBM动辄TB/s的带宽差距巨大。这就带来一个硬约束：边端只能跑中小参数模型，而且必须量化。举个例子，一个8B参数模型，FP16权重就要16GB内存，这已经超过绝大多数边端设备的内存容量了；就算强行塞进去，推理时的KV Cache还得继续吃内存，长上下文直接爆。
所以边端做LLM推理，通常只能跑1B到4B这种级别的量化模型，或者干脆只跑视觉检测这类CNN模型。必须在选型阶段就想清楚：你的业务模型多大？能不能量化到INT8甚至更低精度？量化之后精度损失业务能不能接受？这些问题没想明白就去选芯片，后面改造模型的成本会比芯片本身还高。
4.3 预处理、后处理，才是边端算力的隐形黑洞
这是我在边端项目里踩得最深的坑。很多人以为只要NPU算力够，整个流程就跑得动，大错特错。NPU只负责算卷积和矩阵乘法，图像解码、缩放、归一化、letterbox这些预处理操作，以及框选、保存结果这些后处理操作，全部要CPU来扛。
以在边缘盒子上跑YOLOv11目标检测为例，模型推理本身可能只需要20毫秒，但如果摄像头RTSP拉流、OpenCV解码、图像缩放全挤在CPU上做，整条链路的帧率可能只有个位数。我把预处理里的解码和缩放任务改到硬件编码器，再把推理结果通过队列异步写盘，帧率才真正跑起来。具体来说，YOLOv11这类模型的推理结果保存也有讲究，如果同步往硬盘写图片或JSON，写盘慢就会反过来阻塞推理线程，正确做法是单独开一个消费者线程做落盘。
还有一个非常隐蔽的坑：模型转换时的输入尺寸固定问题。很多端侧NPU的推理引擎要求输入是静态shape，比如固定640x640、固定序列长度。模型在训练时是动态输入，迁到端侧必须固定下来。你的业务如果存在不同分辨率的图片、不同长度的文本，就要在转换前想清楚统一成什么尺寸，否则上线后会发现一批样本推理效果很怪，却怎么也定位不到原因。
5. 最后说选型：我用几条原则帮你排除掉一半选项
聊了这么多，最后回到最实际的选型问题。我在多个项目里试过不同牌子的国产AI算力芯片，也见过不少同行踩坑之后来跟我抱怨。总结下来，选型其实就是三张表的事。
5.1 按场景直接对号入座
| 使用场景 | 优先考虑的芯片方案 | 理由 |
|---|---|---|
| 云端大模型训练 | 昇腾910B/910C、海光深算DCU | 整体软件栈和分布式适配相对成熟 |
| 云端LLM推理 | 昇腾、寒武纪思元系列 | 对主流开模型适配及时，推理引擎优化较深 |
| 云端传统CV推理 | 海光、摩尔线程 | 迁移成本低，兼容性好 |
| 边端AI盒子（视频检测） | 昇腾310P、寒武纪低功耗卡 | 能效比高，开发资料齐全 |
| 车规/机器人类端侧 | 需按具体规格筛选 | 常温消费级和车规工规差别巨大，必须实测 |
这张表只给了大方向，具体到同一品牌里的不同型号，还是要按第3节说的真实推理指标去测，不能只看型号和标称算力。
5.2 三个踩出来的通用原则
第一，不要只看峰值算力，要看有效算力。同一个芯片，在不同推理引擎、不同量化方式下表现差距极大。厂商宣传的是理想条件，你业务跑的条件永远不理想。
第二，不要把迁移成本想得太低。即使走CUDA兼容路线，哪怕编译直接通过，性能也往往达不到预期。算子级优化、内存分配调整、数据搬运裁剪，这些工作省不掉。计划里至少要预留一个月的性能调优时间，而且一定要安排懂底层的人去做。
第三，开发阶段锁定版本组合，不要频繁升级。国产芯片的软件迭代很快，这既是好事也是风险。我见过一个项目，SDK小版本一升，推理结果格式变了，耗了两天排查才发现是版本问题。稳妥做法是：验证通过后锁住芯片固件、SDK、推理引擎三者的版本组合，项目交付前不做任何升级。
5.3 给刚起步团队的务实建议
如果你的团队没有国产芯片经验，又正好在做选型，我强烈建议先别急着买硬件。现在主流云平台大多能开到昇腾、寒武纪的云实例，先按小时租用，把你的真实模型拿上去跑，把训练、微调、量化、推理、压测全流程走一遍，让算法、开发、运维三个角色都实际碰一遍。这时候再判断买不买、买多少、买卡还是买整机，心里才有底。算力芯片这行，纸上谈兵的成本，远比你想象的高。
最后分享一个小经验。很多团队评测国产芯片时，习惯用标准benchmark和跑分脚本，这样测出来的结论其实参考价值有限。我后来养成了一个习惯：把线上真实业务的流量录下来做回放，发到目标芯片上用完整业务链路跑几天，记录成功率、P99延迟、崩溃次数。跑分漂亮不如下线稳定，这条经验帮我躲过了好几次“看上去性价比很高”的选型陷阱。
