1. 云栖大会算力展区里,我看到的三个风向变化
今年云栖大会我的整体感受是:算力的讨论重心,正从“资源规模”切换到“业务结果”。会场里主论坛也好、分论坛也好,头部云厂商上台几乎不再像前两年那样喊“我们有多少万张GPU卡”,而是反复强调单位Token成本、推理延迟、模型微调后的效果提升。这个变化看上去只是话术调整,背后其实是算力市场供需关系的实质性扭转。
1.1 风向一:算力从“稀缺资源”变成了“运营资产”
前几年参加云栖大会,几乎所有算力相关论坛都在说产能、说供货周期、说如何排队等卡。今年我注意到,展台的咨询台前问得最多的已经不是“能不能卖我几张卡”,而是“我手上的业务跑在什么芯片上更划算”“推理和训练怎么混合部署才能降低成本”。这种语境转变说明,算力在大众心智里已经从“买不到的稀缺资源”过渡到“需要精细运营的资产”。
对于企业决策者来说,这个信号非常直接:过去你只需要回答“要不要买算力”,现在必须回答“算力买到之后,怎么让它不断产生业务价值”。采购一批GPU只是开始,后续的利用率监控、任务调度、成本分摊、模型迭代,每一项都需要对应的工具和组织能力。云栖大会上那些推“算力管家”“GPU资源池化”“弹性调度”的展台前排起长队,就是这个需求的直观体现。
1.2 风向二:推理负载正在成为算力需求的绝对主力
多个分论坛里,产业侧分享的数据都指向一个结论:推理算力在整体需求中的占比,正在快速逼近甚至超过训练算力。原因是大量企业并不训练基础大模型,而是在开源模型的基础上做微调、部署推理服务,这种模式对算力的消耗是持续性的,7x24小时都在跑,而训练任务通常是阶段性的。
这个趋势直接改变了采购逻辑:
- 训练导向的部署,追求的是峰值吞吐和互联带宽,通常需要大规模集群;
- 推理导向的部署,追求的是延迟、稳定性和单位请求成本,往往适合用中端GPU卡或专用推理芯片,甚至可以接受混合架构。
我在大会现场看过一个电商场景的案例:他们用一批中端卡做推理服务,再搭配少量高端卡做定期微调,整体成本只有全用旗舰卡方案的三分之一。这个案例说明,决策者不要被“旗舰卡崇拜”带偏,什么样的负载决定什么样的硬件选型,而不是反过来。
1.3 风向三:开源模型的算力普惠效应开始显现
今年云栖大会的开源模型技术专场,几乎场场爆满。开源模型带来的影响极其深远:它把企业使用AI的门槛从“训练大模型”降到了“部署和微调模型”,不同规模的企业都能找到匹配自身实力的算力路径。
一个典型的例子是:一家做行业知识库问答的中小企业,不需要自己训练模型,只需要在开源底座上做领域数据微调,然后部署推理服务。它所需要的算力规模,可能只是用一台32G显存的服务器搭配部分云上实例就能支撑。放在两年前,这种业务几乎必须依赖大厂的API服务。
给决策者的启示是:在算力规划中,一定要区分“训练需求”和“推理需求”,两者在硬件选型、成本结构、实施周期上完全不同。混为一谈往往会导致预算浪费和项目延期。
2. “十五五”算力规划语境下,决策者必须盯紧的几个量化指标
“十五五”是当前宏观产业环境里绕不开的关键词,算力基础设施相关的规划释放出的信号,直接影响企业未来三到五年的数字化投入节奏。我不在这里展开政策解读,但有几个值得关注的量化指标,建议决策者提前建立认知框架。
2.1 智能算力占比:“总量”之外更要看“结构”
宏观层面最常被引用的数字是算力总规模,但如果只看总量,很容易忽略结构变化。智能算力(也就是适合AI训练和推理的GPU/NPU集群算力)在整个算力盘子里的占比,才是真正影响企业找资源、谈价格的关键。
智能算力占比上升的直接影响是:通用CPU算力依然重要,但增量预算会明显向智能算力倾斜。在做企业级预算时,不必机械地去对标总量数据,而是要看你所处的行业、你所在的区域,智能算力资源能不能匹配上你的业务节奏。有些行业AI渗透率高,智能算力需求增长就快;有些行业仍以传统数据处理为主,过早把所有预算换成GPU集群,反而不是最优解。
2.2 区域供需结构:算力不是“全国一张网”
第二个需要盯紧的数字是算力资源的区域分布。各地基础条件不一样,有的区域是算力输出的中心,有的区域是算力需求的大户,中间的传输网络依然存在瓶颈。企业决策者需要结合自身业务的物理分布来判断:你的数据在哪里、算力在哪里、中间的网络时延是否可接受。
实操层面其实很朴素。比如你的研发团队在A城市,客户数据在B城市,而算力资源池在C区域,那么每次模型训练都需要跨区域传输数据,这不仅是成本问题,更可能是效率问题。算力规划不能脱离数据治理单独做,这句话我在多个企业项目里反复验证过。
2.3 单位算力产出比:把宏观目标翻译成企业语言
宏观规划最终要通过产业园、云服务商、硬件厂商等环节传导到企业端,其中最有参考价值的指标是“单位算力产出比”这个概念——也就是一定规模的算力投入,能够支撑起多大的业务产出。
落到企业内部,我建议决策者建立一个简单的对标关系:
| 算力投入 | 对应业务产出 | 衡量指标 |
|---|---|---|
| 训练集群投入 | 模型迭代速度 | 每次训练耗时、周迭代次数 |
| 推理服务投入 | 线上服务能力 | 并发请求数、P99延迟、单请求成本 |
| 数据处理投入 | 数据管线效率 | 每日处理数据量、作业超时率 |
有了这个表格,再去看宏观规划中关于算力效能、绿色低碳的内容,就不会觉得只是口号,而是可以翻译成企业内部OKR的参照。宏观规划的落地,必然伴随企业对算力精细化管理要求的提升,早一步建立这套度量体系,后面的资源谈判和成本控制就多一分主动。
3. 企业算力获取方式的最优解:买卡、租云,还是API调用
近年来很多技术圈的热门搜索都指向算力获取方式,比如“OpenClaw只能用接入API的方式使用算力吗”“RTX Pro 5500算力怎么评估”“大疆算力开发申请流程”等。这些搜索背后,其实是企业决策者共同面临的一个选择题:算力到底应该自建、租赁,还是直接走API?
3.1 三种主流方式的成本结构对比
我知道很多决策者一上来就问“到底是自建划算还是租划算”,这个问题的答案取决于你的业务处于哪个阶段。下面这张表是我的习惯用法,分享出来供参考:
| 获取方式 | 适合场景 | 显性成本 | 隐性成本 |
|---|---|---|---|
| 自建机房/私有集群 | 数据敏感度高、长期大规模稳定负载 | 硬件采购、机房改造、电费散热 | 运维团队、硬件折旧、扩容周期 |
| 公有云GPU实例 | 弹性需求明显、项目周期不确定 | 按小时计费、数据存储费用 | 传输费用、闲置成本、厂商锁定 |
| API服务调用 | 快速验证、业务量波动大 | 按token/按请求计费 | 依赖第三方、个性化受限 |
从这张表能看出,三种方式本质上不是替代关系,而是对应不同生命周期和负载特征。
3.2 从热门搜索词看决策群体的真实困惑
我在复盘今年相关热词时,发现三个高频问题组,每一个都对应一类决策误区:
第一类是“工具绑定焦虑”,典型问题就是“OpenClaw只能用接入API的方式使用算力吗”。这类问题的本质是:项目想用某个主流AI应用框架,又不确定是否必须把算力托管给某个平台。实际答案是,主流的开源应用框架通常既可以对接云端API,也可以通过配置底层算力资源实现私有化部署,只是后者需要自己处理环境配置和资源调度。决策者听到“某种工具只能用API”时,不要急着接受,先搞清楚它说的是“默认支持”还是“唯一支持”。
第二类是“硬件选型困惑”,典型问题围绕RTX Pro系列、各类专业显卡的算力评估。很多企业会纠结买专业卡还是消费卡,甚至有人问“买游戏显卡跑AI行不行”。我的观点很明确:短期实验和原型验证,消费级显卡完全能用,性价比极高;但如果是长期稳定生产环境,必须考虑显存容量、散热设计、驱动稳定性、保修政策,这些专业卡的价值就体现出来了。
第三类是“开发资源申请”,典型问题比如“大疆算力开发申请流程”。这说明不少企业希望在特定硬件生态内做开发,但不知道入口和门槛在哪儿。建议先关注官方开发者计划,通常门槛不是资金,而是一份清晰的场景说明——你想跑什么业务、预期规模多大。
3.3 混合部署:多数企业现在的理性选择
根据我接触过的企业案例,极少有企业只采用单一算力获取方式。常见组合是:
- 核心研发团队自购几台主力GPU服务器,保证训练环境稳定;
- 弹性任务走公有云的按需实例,高峰期随时扩展;
- 标准化业务直接调用API或云上的托管推理服务。
这样组合之后,团队既能获得快速迭代的能力,又不会承担过高的资源闲置风险。决策者制定算力规划时,别把“买、租、调用”想成三选一,更合适的思路是给不同负载匹配不同获取方式,让每种选择都服务一类明确的业务目标。
4. 测算算力ROI:从“我有多少卡”转向“我用得值不值”
企业决策者最常挂在嘴边的问题是“公司有多少张显卡”,这其实是个规模指标,不是价值指标。真正影响业务结果的是:这些卡有多少时间在跑有效负载、跑出来的结果创造多少业务收入或成本节省。这两者之间的差距,往往比想象中大。
4.1 有效算力才是真算力
业内评价GPU算力时常用的指标叫“峰值算力”,也就是理论上的浮点运算能力。但真实业务环境里,峰值算力永远不可能100%发挥出来,因为要受数据读取速度、内存带宽、通信瓶颈、软件框架、调度系统等一堆因素限制。
我习惯用一个更接地气的概念:有效算力 = 峰值算力 × 利用率 × 实际训练效率系数。
举个例子,一个团队买了两台单机8卡服务器,峰值算力看起来非常可观,结果跑大模型训练时,由于显存不够需要频繁做梯度同步,等着通信的时间比计算时间还长,实际有效算力连理论值的一半都不到。这种情况下,问题不在卡,而在配置和任务拆分。
所以,决策者做算力评估时,不要只盯着“显卡AI算力TOP排行”这类榜单,更要关注:你的业务负载特征是什么,硬件在真实负载下能达到多少利用率。
4.2 电费和散热:最容易被低估的隐性成本
自建算力最容易被低估的成本,不是设备钱,而是电费。一台高功率GPU服务器满负荷运行,整机功耗轻松上千瓦。算一笔账:如果一组训练集群平均功耗50千瓦,一年运行8000小时,电费按照商业电价粗略估算,一年电费就要几十万元级别。再加上机房散热——空调制冷消耗的电往往占机房总耗电的30%以上。
这还不是全部。设备折旧也需要考虑。GPU硬件迭代周期短,可能三年后就面临性能落伍,残值大幅缩水。我在给企业做建议时,常让财务把这个因素算进项目总成本,往往一算下来,云上方案在成本弹性上的优势就明显了。
4.3 一个可以直接套用的ROI估算公式
关于AI算力项目的投入产出,我总结了一套简化但实用的测算方法。核心思想是:把算力投入和业务收入建立对应关系。
假设一个智能客服项目:
- 投入侧:算力成本(采购摊销/云租用)+ 人力成本 + 数据成本;
- 产出侧:人工客服替代量 × 单次服务成本 + 响应时长缩短带来的满意度提升价值。
把这个框架推进下去,你会发现老板真正关心的是:“我投入的算力,一年能不能通过降本增效赚回来”。决策者完全可以用一个最简单的公式:年度净收益 = 业务节省成本 + 新增收入 - 算力总成本。如果为正,说明项目在经济上站得住。
用这个公式去评估每一个算力需求,比单纯比较“哪家GPU更便宜”要靠谱得多。
5. 零参考也能起步的算力落地行动清单
很多决策者看完大会、看完长文,会陷入一种“道理我都懂,但还是不知道怎么开始”的状态。下面这份清单,是根据我的实操经验整理出来的,不依赖任何特定硬件品牌或云厂商,适用于大多数从零起步的企业。
5.1 第一步:给现有业务做一次负载盘点
不要先想“买什么卡”,先回答下面四个问题:
- 当前有哪些业务环节在尝试AI应用?
- 这些场景是训练型负载,还是推理型负载?
- 负载是持续稳定型,还是周期性爆发型?
- 数据敏感度如何?能否放到公有云处理?
这些问题回答清楚之后,算力需求自然就有轮廓了。很多时候企业买了大量算力后发现利用率极低,问题出在一开始的负载定义就含糊。
5.2 第二步:把预算分成三个池子
我建议预算管理采用“三池”结构:
- 固定池:覆盖核心研发团队的训练和开发环境,采用采购或长期租赁方式,保证基础供给;
- 弹性池:应对活动、促销、突发流量,用公有云按需资源,按量付费,用完就释放;
- 探索池:为新场景验证留出小额度预算,支持团队用API或低价实例快速验证想法。
这种预算结构的好处是:既能保住主干业务的持续投入,又不会因为未知的业务探索而大量占用资本开支。
5.3 第三步:把算力利用率变成例会指标
有句话说得好:没有被测量的东西,就不会被优化。算力项目在启动的第一天,就应该建立观测体系。不需要上来就上复杂平台,Excel先跑起来也行。每周记录下面几个数据:
- GPU平均利用率;
- 任务排队时间;
- 推理服务的P95延迟;
- 单次训练或推理的单位成本。
开会时同步这些数据,很快就能发现问题:是不是有大模型任务长期占用资源但产出有限?是不是有服务在高峰期响应不稳定?这些信号会持续引导团队去优化调度、优化模型,而不是继续盲目添置硬件。
6. 最后补一句关于决策节奏的同行建议
这几年我见过不少企业在AI算力投入上,要么过于激进导致大量资源闲置,要么过于保守导致业务窗口被竞争对手抢走。比较稳妥的做法是:保持每个月一次的算力效能审视,用数据驱动扩缩容,而不是凭“觉得应该买”来做决策。
关于“十五五”算力规划释放的产业发展趋势,我的理解是政策面的长期方向已经相当明确,基础设施的规模化建设一定会伴随资源价格的结构性调整。企业决策者现在最应该做的,不是急着下大单、抢资源,而是把内部的需求梳理、成本模型和度量体系建立起来。等宏观趋势真正传导到市场端时,你才有能力判断哪些机会属于自己,哪些投入其实是跟风。
云栖大会每个月都会有很多新概念,但算力这件事的本质并没有变:它永远是业务的杠杆,而不是业务本身。谁能更早把“算力投入”和“业务产出”清晰挂钩,谁就能在下一阶段的竞争中掌握真正的主动权。