做了快两个月的 AI 芯片选型调查，表格从最初的 57 种一路膨胀到 120 多种，这个数字还在涨。每次以为已经涵盖全了，深入了解某个细分场景后又从技术文档里翻出几个新面孔。很多朋友问我，选 AI 设备到底该看什么？这篇就结合这份调查和实际选型经历，把思路完整拆一遍：从分类逻辑到芯片参数，再到具体落地的筛选流程和踩坑教训，希望对你接下来选设备有用。
1. 先说说这份调查是怎么从 57 种变成 120 多种的
1.1 最初的 57 种是怎么统计出来的
接到任务时，需求很简单：给一套 AI 推理系统挑一款硬件加速芯片，要能支撑视觉检测模型实时跑，同时功耗不能太高。第一版表格是我按"听说过的芯片"来列的，当时觉得 AI 芯片不就分 GPU、FPGA、ASIC 三大类嘛，主流厂商各出几款，撑死五十几种。
第一轮整理确实停在 57 种。分类维度也比较粗：按厂商归类，按算力大小排了个序，再标一下功耗和价格。表格看起来挺齐整，但拿去做方案评审时被问住了——"你这 57 种里面，有多少是已经量产可采购的？有多少还在纸面上？接口是 PCIe 还是自定义？内存多大？跑的是 INT8 还是 FP16？"
这些问题让我意识到，单纯数型号没有任何意义，必须搞清楚每一颗芯片在整个 AI 计算生态里的定位。于是我开始被带着往深处走。
1.2 类型从 57 涨到 120 多，主要涨在哪几个方向
第一批增长来自"架构细分"。原来的 GPU、FPGA、ASIC 太粗了，实际市场上的产品谱系比这复杂得多：
- 通用 GPU 里，按代际和精度支持分成了不同档次，从入门级到旗舰级，中间还有一堆加速卡衍生款。
- NPU 更夸张，几乎每家芯片设计团队都有自研 NPU，有的主打端侧低功耗，有的主打训练大算力，有的专攻视觉加速，有的专攻语音、推荐系统。
- 还有一类"类脑芯片"和"存算一体芯片"，虽然量产规模不大，但在特定场景里已经有实际部署案例，不统计进去调查就不完整。
第二批增长来自"部署位置"。同样是跑 AI 推理，手机里的芯片、摄像头里的芯片、服务器里的加速卡、自动驾驶域控制器里的芯片，它们的设计目标完全不同，不能放在同一个维度里比较。我不得不为每个部署位置单独建表，表格数量自然翻倍。
第三批增长来自"厂商名单"。一些细分赛道的公司我不太熟悉，通过产业报告、展会资料和供应链信息，又补充了一大批产品。我慢慢理解了一个道理：AI 芯片市场不是大厂的独角戏，而是大量不同规模、不同定位的团队在各自的场景里深耕。
1.3 这场"数芯片"游戏带给我最重要的认知调整
数到 90 多款时，我差点陷入一个误区：什么芯片都想记录，什么参数都想对比，结果表格越做越大，真正能用于决策的信息反而被淹没。
后来我给自己定了三条筛选规则：
- 只保留已经量产、有公开资料、可正常采购流入市场的型号。只存在于 PPT 里的先放观察区。
- 按目标场景过滤，先把要解决的问题定死，只在相关范围内横向对比。
- 把参数分成"决策参数"和"参考参数"，决策参数用于横向评分，参考参数只作背景信息。
这样梳理完之后，120 多种芯片虽然多，却不再是混乱的一团。它们被分成了几条清晰的选型路径，每条路径上都有对应的关键指标。你要问我选设备看什么，我的回答是：先看场景，再看指标，最后才看型号。
2. 看懂 AI 芯片的规格书：纸面参数背后的真实含义
很多人在选设备时，第一步就去看算力，张嘴就是"我要几百 TOPS"，但这个数字恰恰最容易误导人。规格书上的参数是芯片的理论极限，是特定条件、特定精度、特定频率下的标称值，而不是你实际跑业务时能拿到的数字。
2.1 算力怎么看：TOPS、TFLOPS 和精度绑定
算力通常会写成这样：INT8 算力 200 TOPS，FP16 算力 100 TFLOPS，FP32 算力 25 TFLOPS。同一颗芯片，因为计算精度不同，数字差距能到好几倍。
关键要弄明白的一点是：你说要跑的模型，到底吃哪种精度的算力？
- 训练阶段通常需要 FP32 甚至更高精度，这时候唯 TFLOP 至上。
- 推理阶段大多数场景可以做 INT8 量化，TOPS 就比 TFLOPS 更贴合实际。
- 如果模型做了 INT4 量化，有些芯片的 INT4 算力更高，但精度损失必须靠算法侧补偿，不是所有模型都能接受。
我见过一个实际案例，某团队采购设备时盯着 INT8 算力最高的方案，结果业务模型因为精度要求不能量化到 INT8，只能跑 FP16，实际吞吐能力直接砍半，设备白选。所以第一件事：先确认你的模型能跑到什么精度，再对齐规格书里对应的算力数值。
**另一个坑是"稀疏算力"和"峰值算力"的区别。**有些芯片支持结构化稀疏加速，规格书写的是稀疏算力，比稠密算力标得高很多，但真实模型里的稀疏度很难完美匹配芯片要求，实际性能可能要打折。看到高得离谱的数字，先确认它是不是稠密算力。
2.2 能效比：功耗和性能必须一起看
AI 芯片的另一个硬指标是能效比，通常用 TOPS/W 来表示。在边缘设备上这个指标几乎决定一切，因为设备有散热限制、电池限制，不是算力越高越好。
我来举个例子。A 芯片 INT8 算力 40 TOPS，典型功耗 12W，能效比 3.3 TOPS/W。B 芯片 INT8 算力 60 TOPS，典型功耗 26W，能效比 2.3 TOPS/W。如果你有一个 15W 的功耗预算，A 芯片能跑满 40 TOPS，B 芯片只能降到一半功耗跑，实际算力约 30 TOPS，而且降频后性能衰减比例不一定是线性的。盲目选算力高的 B 反而吃亏。
这还没算散热成本。数据中心里功耗直接对应电费和散热设施投入；嵌入式设备里功耗对应电池容量和机身尺寸。做选型时，把功耗预算单独列出来，再把散热改造成本算进去，往往能劝退一半不合适的方案。
2.3 内存带宽和容量：很容易被忽视的决定性因素
AI 模型的运行逻辑是把权重和中间结果不断搬进搬出计算单元，如果内存带宽不够，就算计算单元再快也只能饿着。这个瓶颈业内叫"内存墙"。
常见的内存类型和带宽大致是这样一个关系：
| 内存类型 | 典型带宽范围 | 常见于 |
|---|---|---|
| LPDDR4X | 30~70 GB/s | 端侧芯片 |
| LPDDR5 | 50~100+ GB/s | 端侧、边缘设备 |
| DDR5 | 100~200 GB/s | 边缘服务器 |
| GDDR6 | 400~600+ GB/s | 显卡级推理卡 |
| HBM2e / HBM3 | 500~1200+ GB/s | 高端训练芯片 |
内存容量对应的是你能装下多大的模型。1B 参数模型以 INT8 存储大约需要 1GB，7B 模型大约需要 7GB，如果还要求长上下文或者大 batch，就得再加几倍。容量不够时，模型放不进片上或板载内存，就得频繁搬运，性能和功耗双崩。
我常用一个粗略估算公式：模型单次前向传播的数据搬运量 = 权重体积 × 2 + 中间激活体积，带宽除以搬运量就能估算最低延迟上限。虽然粗略，但用来横向比较候选芯片的真实表现，比看单一算力靠谱得多。
2.4 生态兼容性：算力再高，跑不起来等于零
这是我在这份调查里学到的最重要一课。同一颗芯片，在不同的软件栈、不同的 AI 框架、不同的推理引擎下，性能表现可能差出去数倍。常看到的现象是：
- 某芯片在自研编译器的 benchmark 里很漂亮，但对 PyTorch 的原生算子支持不全，业务模型编译后直接报错。
- 某芯片的官方文档只推 Linux 环境，Windows 或国产操作系统环境需要自己摸索。
- 某芯片的算子库覆盖较全，但需要开发者跟着它的版本节奏升级框架，业务侧代码改动量大。
我在统计时专门加了一列"框架适配成熟度"，按官方支持程度打分：官方适配、社区适配、需自行开发、不支持，四档。很多按算力排名靠前的芯片，在这一栏直接出局。
3. 不同场景的 AI 芯片选型逻辑：先定场景，再谈参数
把 120 多种芯片全放在一张表里对比是没有意义的，因为不同场景对芯片的要求差别太大。我最终把芯片按部署位置分成了四个群体，每一类都有自己的核心矛盾。
3.1 端侧与边缘 AI：功耗、成本和响应时延的平衡
这里说的是手机、摄像头、工业设备、智能家居等场景。共同特点是：供电有限、散热有限、成本敏感，而且很多要求本地推理，不能接受把数据传回云端。
端侧选型优先看三个指标：能效比、内存带宽和成本。
能效比决定设备能用多久、发热多少；内存带宽决定模型能跑多快；成本决定这个方案能不能量产。算力反而不是最稀缺的，因为端侧一般跑不了超大模型，通常通过模型剪枝量化把模型压到合适大小。
举个例子，一个工业质检的视觉检测方案，模型经过量化压缩之后不到 100MB，那么芯片选择的关键就不在于"能不能跑"，而在于"在同样功耗下谁能跑更多路"。这时能效比高、支持多路并发处理的芯片会胜出，哪怕它的峰值算力不是最高的。
3.2 AI PC 与工作站：通用性、软件生态和易用性优先
这类设备通常由个人开发者、内容创作者、小团队使用。他们要跑的模型种类多，框架和环境经常换来换去，软件生态的完整程度几乎是最重要的维度。芯片如果缺少成熟的驱动、调试工具和框架支持，性能再好也很难落地。
同时要重点考虑显存或内存容量。本地跑大模型时，容量直接决定能不能跑得动。与其纠结峰值算力，不如先保证内存容量能满足目标模型的最低需求。
这类场景还有一个特点：用户不一定有专门的算法工程师做优化，开箱即用的体验很重要。官方有没有提供一键部署工具、示例代码、常见模型库，比多出来的几十 TOPS 更有价值。
3.3 数据中心训练与云侧推理：扩展性、互联带宽和 TCO 优先
训练场景里，单卡性能重要，但多卡互联能力同样决定成败。模型越来越大，通常要把训练任务拆分到多颗芯片上并行，芯片之间通信效率上不去，就会卡在通信瓶颈。
互联带宽、集合通信库的成熟度、集群调度软件的兼容性，是训练设备选型的隐藏关卡。很多团队采购前没有认真测试多卡扩展效率，实际训练跑起来，发现四卡效率还不到单卡的三倍，这才意识到互联的重要性。
云侧推理则更关注单位成本吞吐量和弹性伸缩能力。同样的预算，能支撑多少路并发请求、单路延迟是多少、功耗电费怎么算，综合起来决定运营成本。也就是常说的 TCO（总拥有成本），采购价只是其中一部分，三年电费和运维人力往往更多。
3.4 自动驾驶与工业嵌入式的特殊要求
自动驾驶域控制器除了算力，还讲究安全冗余，要有功能安全认证、故障检测机制、确定性的执行时延。工业场景则看重长期稳定供货、宽温环境适应性、寿命周期。这类芯片不能只看性能和价格，必须把可靠性、认证资质、供应链稳定性纳入评分。
我有一次做工业项目选型时，某芯片在性能和功耗上都非常理想，但厂商没有公开承诺长期供货周期，也没有工业级温度档，最终只能放弃。设备采购不是只看评测跑分，还要看这颗芯片能不能在你的行业要求下生存。
4. 一次实际的设备选型实操：从需求到落地
光讲理论很难有感觉，我拿一套实际做过的方案选型过程来拆解，从需求确认到最终落地的完整路径。
4.1 需求调研：先把问题定义清楚
项目背景是给一套分布式视觉检测系统升级边缘算力，原有设备已用三年，检测精度跟不上。明确需求如下：
- 场景：流水线实时质检，每路视频流 30 帧/秒，目标分辨率 500 万像素。
- 模型：当前检测模型量化到 INT8 后体积约 120MB，单帧推理时延要求低于 80 毫秒。
- 路数：单设备需要同时处理 8 路视频流。
- 功耗：整机功耗预算 25W，尽量减少改动，不引入过高散热成本。
- 预算：单设备硬件预算 3000 元以内。
- 生命周期：至少支持 5 年供货和升级。
这串需求写清楚之后，很多候选芯片已经可以被排除了。
4.2 建立横向对比筛选表：从 120 多种里筛到 6 种
我按场景快速过滤掉训练芯片、手机端芯片和自动驾驶芯片，聚焦边缘视觉推理这一档。再从供应链可采购、有完整资料、支持常见推理框架三个条件过滤，剩下了 8 种左右，其中符合功耗预算和路数要求的只有 6 种。
这 6 颗进入详细对比表，表头大致是这些字段：
| 对比项 | 说明与权重 |
|---|---|
| INT8 有效算力 | 参考规格书但不过度信赖，权重最高，30% |
| 能效比 TOPS/W | 直接决定散热方案，权重 20% |
| 内存容量与带宽 | 决定模型加载和 batch 能力，权重 20% |
| 软件生态成熟度 | 算子覆盖和框架兼容，权重 15% |
| 供货周期与价格 | 成本约束，权重 10% |
| 已有案例验证 | 同场景案例可信度，权重 5% |
这个权重不是随便拍的，是跟项目各干系人一起打分得出的。你会发现不同角色在乎的东西不一样：算法的人在乎软件生态，硬件的人在乎功耗散热，采购的人在乎供货周期。先把权重商量好，后面就少很多扯皮。
4.3 实物测试：拿到开发板跑真实模型再定
光靠规格书还是不够保险。我申请了其中 3 款芯片的开发套件实测，分别跑同一个量化优化过的模型，记录启动时延、单帧时延、连续运行两小时的芯片温度、功耗曲线，以及是否出现偶发丢帧或异常报错。
实测结果出乎意料：规格书上算力较低的某款芯片，因为模型编译器和内存调度做得更好，实际单帧时延反而低于另一款峰值算力更高的芯片。如果只看纸面参数，那次就选错方向了。
还有个细节：两小时持续运行的压力测试非常必要。有一款芯片在前期评测数据都很好，跑到第 80 分钟左右出现明显降频，整机 FPS 掉得不稳定，排查半天发现是散热器贴合面积不足导致的过热。换了散热方案后又测一周，才最终稳定下来。
4.4 部署后复盘：第一版配置还需要做哪些调整
设备上线后第一个星期，问题又来了：8 路视频流的并发处理没问题，但偶发场景里画面抖动会导致检测置信度波动，有几路触发误报。这不是芯片的锅，是预处理链路里图像缩放和归一化占用了太多 CPU 资源，导致排队延迟抖动。
解决办法是把图像预处理的部分算子也迁移到加速芯片上，通过芯片支持的算子库重写部分预处理逻辑。迁移之后单帧时延从平均 75 毫秒降到 53 毫秒，稳定性问题也解了。
复盘下来，这次的选型能成功，关键在于没有把规格书当成唯一标准，每一步都基于实际场景验证。同时也要注意，设备落地不是换完芯片就结束，配套软件栈适配和算子迁移往往才是工作量的重心。
5. AI 芯片选型的常见错误与排查经验
选型路上我踩过不少坑，有些是看别人踩的，有些是自己踩的。这里整理一份高频错误清单，每一类都附了排查思路，希望能帮你少走弯路。
5.1 只看算力不看有效吞吐量
典型表现是选设备时只关心 TOPS 数字大小，花了大价钱买了高算力芯片，跑业务模型时实际吞吐量却上不去。原因可能是模型算子的并行度不高、芯片利用率不足、内存带宽受限。
排查思路：不要只看规格书，找同款芯片跑目标模型的公开 benchmark 报告，没有就自己买开发板或租云服务器试用。同一颗芯片跑不同模型的表现可能差异巨大，没有银弹标准。
5.2 忽视软件栈成熟度导致开发拖期
芯片硬件再强，如果算子库不全、调试工具难用、框架支持滞后，项目进度就会很痛苦。我见过一个团队因为选择了软件生态不够成熟的芯片，光适配 YOLO 系列模型就花了两个月，还不断遇到算子上报错误和内存泄漏问题。
排查思路：把软件栈列成一个专项评分表，按推理框架支持、算子覆盖度、工具链易用性、文档完整性、社区活跃度五项打分。每一项都至少找一份实际动手的评测或经验帖来验证，不要只看官方宣传。
5.3 拿数据中心芯片做边缘部署，散热和功耗翻车
有时候算法工程师习惯了 GPU 服务器的强大算力，在边缘设备选型时也盯着高算力芯片，结果样机一亮相，体积、功耗、发热全部超标。
排查思路：在做需求确认时，就量化出目标设备的外形尺寸、功耗上限、散热方式。功耗和散热的约束条件，必须在芯片选型的第一天就参与决策，而不是等设计完结构再去迁就芯片。
5.4 只算采购成本，不算总拥有成本
设备采购价只是总成本的一部分。芯片功耗高，则电费和散热投入高；芯片软件生态差，则开发维护人力高；芯片供应不稳定，则需要备货或重新适配的风险成本。
排查思路：做一个三年 TCO 估算表，把硬件采购、功耗电费、散热改造、开发人力、运维成本都列进去。很多看起来便宜的选择，摊到三年并不便宜。
5.5 忽略未来扩展，选型只在当前需求上打转
选型时只看当前模型的算力需求，没考虑半年后模型升级、业务增长可能带来的压力。结果设备刚部署半年，新版本模型的内存需求大涨，原来规划的芯片明显不够用，改造周期又长。
排查思路：在需求调研阶段就问一个问题：未来一年模型可能怎么变？如果大概率会升级成更大模型，就优先选内存容量更高、扩展路线清晰的芯片平台，哪怕峰值算力略低一些。硬件升级从来不是换个芯片那么简单，一旦改动，外围的接口、散热、电源、算法适配全部要跟着动。
5.6 统计表格的工具技巧
最后分享一个小工具层面的心得。维护 120 多种芯片的对比表格，我前期用传统表格软件做得比较乱，后来改进成一套更顺手的流程：
- 建立一个"芯片总表"，一个芯片一行，每列一个属性，核心属性包括：厂商类型、架构分类、部署场景、算力（分精度填写）、功耗、内存类型与容量、接口类型、软件栈成熟度、参考价格、供货状态。
- 每个部署场景单独建一张"场景对比表"，只复制总表里相关的行，再添加本场景特有的指标列和权重列。
- 每个候选芯片建一个"实测记录页"，收集评测文章、实测数据、官方文档链接。
这套结构维护起来轻松很多，而且任何时候想跟别人交流选型思路，发一个场景对比表过去就够了。
6. 一些关于设备选型的个人体会
把 AI 芯片从 57 种写到 120 多种的这段经历，给我最大的收获不是记住了多少芯片型号，而是建立起一套"以场景倒推指标，以实测验证结论，以长期成本定决策"的选型方法。设备选型本质上不是选参数最高的那一个，而是选在你能接受的价格、功耗、开发和运维约束范围内，最稳定可靠地满足业务需求的那一个。
再分享一个小技巧：做完大量对比之后，不要急着下单。把候选列表压缩到两到三款，分别用真实模型在真实的数据流负载下跑上几天，同时记录功耗和错误日志。设备选型永远值得多做一轮验证，规格书和评测文章的高分，永远不如你自己亲手跑出来的数据可靠。芯片市场变化很快，今天整理到的信息可能半年后就过时，但选型的思路和框架是可以长期复用的。希望这篇调查下来踩坑总结出的思路，对你的设备选型也有帮助。
