1. 这场竞赛的“分水岭”：算力不再是唯一答案
1.1 算力竞赛到底在比什么
过去十年，AI芯片行业的竞争逻辑其实非常单调：比谁的“峰值算力”数字更吓人。GPU厂商发布产品时，必给一张表格，里面列满FP16、BF16、INT8、稀疏算力和稠密算力，单位不是TFLOPS就是TOPS。大家默认的潜台词是：只要你在芯片里堆更多晶体管、用更先进制程、塞进更大的HBM显存，你的芯片就赢了。英伟达从A100到H100再到H200，AMD用MI250到MI300X，本质上都在这条赛道上比拼单卡参数。这场“纸面军备竞赛”持续了不止五年，也确实催生了一大批性能漂亮的产品。
这个阶段的AI芯片购买者也很“好骗”，至少在选型逻辑上很直观——谁单卡浮点高、谁显存大，就买谁。我去看过好几家企业的算力采购需求书，里面写的要求几乎都是“单卡FP16不低于多少TFLOPS”“显存容量不低于多少GB”“HBM带宽不低于多少”。你把任何一个跑过真实大模型训练的工程师拉过来看，都会觉得这种参数表有点隔靴搔痒。因为它只回答了“这张卡理论上能算多快”，却完全没回答“我拿一千张卡训练一个千亿参数模型，到底多少天才收敛”。而恰恰是后者，才决定了一个AI项目的成功率与真实成本。
1.2 算力竞赛踢到了三堵墙
到了2024年之后，你再看市场风向，会发现越来越多人开始质疑“算力竞赛”本身。原因并不复杂：单纯堆单卡算力这件事，已经连续撞上了三堵物理和经济的墙。
第一堵是摩尔定律墙。制程演进的速度在放缓，每代先进工艺给到的晶体管密度增幅越来越有限，但AI算力需求却以每年两到三倍的速度膨胀。厂商如果想单靠工艺换带来提升性能，成本会高到离谱，而且等不起。第二堵是功耗墙。以H100为例，单卡TDP已经来到700瓦，这还只是“一张卡”；装进整机柜，热密度会迅速突破传统风冷数据中心的物理极限。你在芯片上加几十个流处理器，边际收益可能很小，但背后的供电、散热和机房改造成本却会成倍增加。第三堵是内存墙。HBM确实是当前AI芯片的“生命线”，但它的容量和带宽增速远远赶不上计算单元的性能增速。单纯堆算力，结果往往是数据喂不过来，GPU在空转等数据。你用一句大白话总结就是：计算单元跑得再快，数据管道跟不上，整机也快不起来。
这三堵墙合在一起，逼出了一个非常现实的问题：当我们把一个AI芯片放进真实的数据中心、接上真实的任务负载时，它究竟输出了多少“有效算力”？
2. 从“跑分”到“跑量”：系统效率才是真实生产力
2.1 “有效算力”才是真正能卖钱的东西
我以前在文章里打过一个比方：算力竞赛像比谁的赛车极速更高，系统效率竞赛比的是真实通勤路况下的平均时速。一辆跑车在封闭赛道能开出三百公里每小时，但每天早上在城市里通勤，可能最快也只能开到二十公里。AI芯片也一样——你在厂商白皮书上看到的FLOPS是“封闭赛道的极速”，而真实训练大模型时的吞吐量，才是“通勤平均时速”。
为什么这么说？因为大模型训练几乎不存在“单卡单跑”的场景。一个千亿参数模型，动辄要几百上千张卡协同工作。每一个训练步都要做前向、反向、AllReduce梯度同步，每一步都要等最慢的那个节点，每一次通信撕裂，都会直接拖慢全局。你可以想象一万个人协作抄写一本书，某个人的手速再快，如果所有的协调工作都要由最慢的人卡脖子，那整体效率就是被那只“最慢的手”决定的。单卡算力再高，集群互联不给力、通信库不成熟、任务调度粗放，最终的有效算力可能只有设计峰值的四成。
行业里其实已经有一个词汇来描述这件事，叫MFU（Model FLOPs Utilization，模型算力利用率），也就是模型实际吞吐占理论峰值的比例。我自己测过不少真实训练任务，大部分情况下MFU也就是30%到60%之间，极少数把工程优化做到极致的团队，能摸到60%以上。什么意思？就是你花天价买来的算力，有一半左右在等数据、等通信、等同步，根本没有参与计算。这才是系统效率竞赛要解决的问题——把一个芯片“理论上的快”变成“用起来的快”。
2.2 成本结构变了：供电和散热比买卡本身更昂贵
算力竞赛时代的成本模型很简单：买卡，看单价。只要一张卡能堆出更多FLOPS，哪怕贵个两倍也有人买单。但当你真的搭一个大规模AI集群时，账本根本不是这么算的。先摆一个大致的五年TCO结构：硬件采购大约占40%左右，而电力加上散热、机房租赁、运维人力，可能占另外四到六成，其中电力占比会随启用规模急剧上升。
以一张700瓦功耗的GPU为例，你看着只是“一张卡”，但按规模换算，一台装满八卡的服务器功耗轻松超过5-6千瓦，如果你把一千张卡放在一个机房，整体电力需求逼近一兆瓦级别。一兆瓦是什么概念？差不多是一千户家庭的用电量。再加上温控、制冷、应急电源，整个数据中心每年缴纳的电费就是一个非常恐怖的数字。所以现在采购方开始反复问一个问题：你这一瓦功耗，能产出多少token？同样输出1000个token，你用的电比我少30%，长期跑就是一笔巨大利润差。
这个变化非常本质：算力竞赛考的是“性能/成本的单点最优”，系统效率竞赛考的是“每瓦有效产出”“每美元有效产出”。说白了，大家终于意识到，AI芯片买回来不是为了跑分，是为了出活。
3. 撕开数据中心：效率藏在“芯片以外”的每一个环节
3.1 集群互联：一台真正的“超级AI计算机”的底座
如果你觉得系统效率只是“软件适配得好一点”，那就小看这件事了。真正决定一个千卡集群能不能高效产出的大脑，是“片间和卡间的互联系统”。这里的差异可以非常夸张。同样是训练同一个模型，好的互联方案和差的互联方案，单机扩展到千卡后的吞吐差距可以达到两三倍。这不是在夸张，我见过实测数据，通信占比每增加10%，集群扩展效率就明显往下掉。
互联分为几个层级。卡内和机内的规模扩展叫Scale-up，典型方案是英伟达的NVLink/NVSwitch体系，带宽可以达到每秒几百GB级别，主要用于同一节点内GPU之间快速交换数据。而跨节点、跨机柜的Scale-out，典型方案是InfiniBand高速网络或者RoCE（基于以太网的RDMA）网络。后者更看重端到端低延迟和拥塞控制能力，做到400Gbps甚至800Gbps已经成为大集群标配。一定程度上，你可以把集群互联理解成“城市交通系统”。城区里局部道路（Scale-up）修得再宽，如果跨城区主干道（Scale-out）堵死，整个城市一样瘫痪。真正的“超级AI计算机”从来不是一张卡有多强，而是上万张卡组成的网络能不能像一个整体一样协调运作。
这也是为什么“超节点”这个词在近两年变得非常火。超节点就是把几十甚至上百颗AI芯片通过超高带宽的专用互联打成一个小组织，让它们像一个巨型芯片一样被调度和使用。它的本质是减少跨通信域的瓶颈、降低软件调度复杂度，从而提高整体有效算力。这个方向本身就意味着，靠单颗芯片参数打天下的时代已经过去了。
3.2 数据中心侧：功耗、散热和供电决定“能不能上架”
芯片系统的真实效率，还有一半藏在数据中心里。这里可以聊一个非常实际的转折：国内很多老旧机房的风冷设计，单机柜可承载功率密度往往只有10千瓦左右。放到现在动辄单机柜逼近40千瓦甚至更高的AI集群，风冷已经完全扛不住。所以液冷方案被推到了前台。
冷板式液冷是目前最主流的选择，把冷却板贴着芯片和内存模块，通过液体循环把热量带走，单机柜功率密度可以做到40千瓦以上；再激进一点就是浸没式液冷，直接把整个服务器泡在特殊冷却液里，热密度上限更高，但对设备形态和运维的要求也更苛刻。与此同时，供电系统也要同步改造。从市电引入到UPS、再到母线、再到PDU分配，任何一环容量不够，整个机柜就上不了架。以前做机房规划是“我租几个机柜”，现在是“我能申请到多少功率”。
这个变化带来的采购逻辑也随之改变：企业买AI系统，本质上是在买“一整套能耗转换工具”。花的钱不只是买卡，还在买电费、买散热、买机房改造。谁的系统每瓦吞吐更高、每卡能承载的负载更稳定、冷却耗电更少，谁的总拥有成本就更低。这就是系统效率竞赛在基础设施层面的真实含义。
3.3 软件生态：效率的隐形倍增器
在系统效率竞赛里，软件跟硬件同等重要。这一点是很多新进入AI芯片市场的厂商最容易吃亏的地方。有些芯片单卡“理论参数”非常惊艳，甚至跑单模型benchmark也能出好成绩，但一到真实训练任务就原形毕露——算子库覆盖不全、分布式通信库支持不成熟、编译器优化跟不上、框架适配一堆坑。最后落地效率可能只有成熟平台的五分之一。
举一个具体经验：在英伟达生态里训练大模型，你可以直接用NCCL做集合通信，用Megatron-LM、DeepSpeed、ZeRO、FSDP这些框架做并行策略，CUDA生态里的算子库、kernel融合优化都已经打磨了很多年。你要做的只是选择合理的并行方案、调节通信重叠参数。但如果换一个不够成熟的新芯片平台，你连跑通一个70B模型的结构化并行都可能要改一两个星期，遇到性能瓶颈还要自己去查是不是算子实现有问题。两者之间差的不是一星半点，而是几倍的真实效率差距。
所以系统效率竞赛从来不是“硬件设计之争”，而是“芯片-互连-数据中心-软件栈”全栈系统的一体化竞争。软件能从编译底层帮你融合算子，能在调度层做通信与计算重叠，能自动把数据切分得更好，这些优化每一层贡献几个百分点，全链路加起来就是压倒性的优势。
4. 实操视角：怎么评估一个AI计算平台的“系统效率”
4.1 四条可以量化的评估准绳
既然系统效率是真金白银，那到底怎么测？我在AI基础设施团队摸爬滚打多年，整理出四条最常用的评估准绳，如果你正准备采购AI算力，完全可以照这个思路搭一套自己的测试流程。
第一条：有效算力利用率。不要相信标称浮点，也不要只跑厂商指定的benchmark，而是拿你实际要用的真实模型（比如开源7B、70B级别的LLaMA类模型）按你的业务负载做端到端训练测试，测出MFU。低于40%要高度警惕，50%以上算合格，能做到接近60%就是非常优秀的平台。
第二条：每瓦性能。分别测训练和推理两种场景下的token产出速率，除以整机功耗，得到每瓦每秒能生成多少token。不要只测单卡，必须测整机，因为整机功耗才反映供电、散热等真实数据中心的成本。
第三条：集群线性扩展效率。从8卡扩到64卡，再到256卡，测试相同模型规模下的强扩展（固定总任务量，卡数翻倍，看耗时是否减半）和弱扩展（卡数翻倍，任务量翻倍，看耗时是否不变）保持率。保持率能做到90%以上算优秀，低于70%说明互联或调度存在严重问题。
第四条：软件适配成本。挑一个复杂的大模型训练任务，记录从拿到新平台到顺利跑完一个训练step需要花费多少人力时日，需要改多少代码。这一步最能暴露一个平台“看起来行”和“用起来行”之间的距离。
4.2 一次“纸上选型”的真实推演
我们不妨做一个简化但非常真实的选型推演。假设我要训练一个70B参数的模型，总计算量很大，准备做两个方案对比。
方案A：单卡峰值算力非常高，但集群效率不佳，MFU只有35%，每卡每瓦产出token数较低。方案B：单卡峰值算力略低，但系统优化到位，MFU达到55%。我用一张表格把关键差异列出来：
| 对比项 | 方案A（堆峰值算力） | 方案B（堆系统效率） |
|---|---|---|
| 单卡峰值算力（相对值） | 100 | 85 |
| 实际MFU | 35% | 55% |
| 有效算力产出（相对值） | 100×35%=35 | 85×55%=46.75 |
| 千卡集群扩展效率（从8卡扩到千卡） | 约70% | 约92% |
| 最终所需等效卡数（相对值） | 约1400 | 约1000 |
| 集群长跑稳定性和故障率 | 通信频繁断链，每周重训一次 | 稳定运行，断点续训机制完善 |
同样一个训练任务，方案A可能要多花40%的硬件预算，还要多承担几周的故障返工时间。我见过太多团队最初因为“单卡参数漂亮”选择了类似方案A的产品，最后不光成本没省，整个人被训练稳定性折腾得焦头烂额。这个推演告诉我们：如果是大规模生产环境，系统效率带来的胜出，往往比单卡峰值更重要。
4.3 读公开数据时的几个“坑”
给你几条实操很强的避坑经验。第一，看好“稀疏算力”和“稠密算力”的区别。厂商很喜欢在PPT上写稀疏算力，数字好看，但大模型绝大多数运算是稠密的，稀疏模式根本发挥不出来。你选型一定要盯着稠密FP16或BF16的数字。第二，所谓“理论峰值”跟“真实吞吐”的距离非常大。看benchmark不要只看跑分数字，要看是否包含完整系统优化。比如同一张卡，在堆满NVLink整机里测出来，和单卡裸跑完全不是一个概念。第三，每瓦性能必须在同一个精度模式下比。FP8可能比FP16快一截，但你的业务真的能用FP8吗？信息精度要求是否允许？必须在相同条件下去比。第四，也是最重要的一条：看长期稳定性。训练一个模型要连续跑几周甚至几个月，中间一旦过热降频、断链故障、同步卡死，都是巨大的成本损失。厂商从不把故障率写在白皮书上，你需要自己跑压力测试，跑个72小时连续训练，看看日志里有没有异常，这比任何参数都真实。
5. 接下来的竞争格局，谁会继续领先
5.1 从“卖GPU”到“卖AI系统”
很明显，头部的AI芯片公司已经在从“卖芯片”转向“卖整机系统”甚至“卖算力服务”。拿英伟达来说，它不只是卖GPU，还卖DGX整柜设备、卖SuperPOD集群方案，其CUDA生态更是竞争者追赶多年都跨越不了的高墙。AMD虽然在拼命推ROCm生态，但软件成熟度依然有明显差距；谷歌的TPU则走的是极度垂直整合的路子，从芯片、互联、机房到软件框架全栈自研，强调云端的一体化交付能力。
新进入者如果想在算力竞赛时代凭单卡参数杀入市场，已经被证明是非常困难的。但在系统效率竞赛时代，机会窗口反而打开了：比如在设计上专注HBM协作和带宽优化，在推理场景提供高能效比方案，在机柜一体化液冷方案上做定制，在Chiplet和UCIe互连技术上做开放生态。这些方向不再是“比谁的FLOPS大”，而是比谁能提供更低的每token成本、更稳定的集群和更成熟的软件栈。对整个行业来说，这是对后进入者更友好、对用户更有利的竞赛方式。
5.2 买卡的人变了，游戏规则跟着变
我这两年接触了大量AI大厂和云厂商的算力采购团队，发现一个非常明显的心态变化：大家开始按“系统SLA”来买了。什么叫SLA？就是供应商要承诺“一卡每月能产出多少有效训练时长”“集群可用率达到多少个百分点”“故障恢复时间不超过多久”。他们甚至会把“液冷整柜方案”“可用的网络带宽”“断点续训能力”写进招标书里，而不是仅仅写“FP16算力不低于XX”。
这背后的动力其实非常简单——大家受够了“买了一堆算力却跑不出活”的痛苦。以前按单卡参数买，买回来发现集群利用率低、网络经常断、软件不顶用，折腾三个月，项目跑不出成果，这时候再好看的跑分有什么用？所以买卡的人，在倒逼整个供应链从“参数导向”走向“结果导向”。当这个逻辑流行开来，算力竞赛向系统效率竞赛的转变就不再是某一家公司的口号，而是整个市场用脚投票的结果。
作为工程师或者基础架构决策者，我个人最推荐的做法是：建立自己的“系统效率基准集”。不要迷信任何一家厂商的发布会，也不要只盯着一张参数表。挑三个能代表你实际业务的模型，每个季度跑一轮真实负载测试，记录MFU、每瓦输出token数、故障率这几个关键指标。连续跑上两个季度，你手里的数据会比任何厂商白皮书都可靠。而在一次一次踩坑和调优之间，你会慢慢理解到，那句“AI芯片竞争正在变成系统效率竞赛”，并不是行业给自己贴的金，而是每一份电费账单、每一次训练断点恢复、每一个不眠的深夜共同写出的现实。
