过去大半年,我接到最多的同行咨询,基本都是同一个问题:液冷到底该怎么上?不是“要不要上”,因为答案已经很明显了——算力中心的功率密度涨得太快,风冷系统的散热天花板就摆在那里。真正让大家纠结的,是上哪种液冷、怎么改、花了钱能不能真出效果。这期间我关注到一个很有意思的路线,代号叫“塔能”方案,核心就八个字:航天技术、插拔式改造。它瞄准的不是新建机房那点增量市场,而是大量存量风冷机房的升级空间。这篇文章就把我看到的、踩过的、算清楚的东西都摊开讲一讲,给同样在评估液冷方案的朋友做个参考。
1. 风冷机柜的散热天花板,被GPU服务器捅破了
1.1 单机柜功率从6kW到50kW,逻辑上风冷已经无解
先看一个很直观的对比:前几年普通机柜的设计功耗也就是6到8千瓦,一个机房空调系统伺候好循环风、保证冷通道温度,基本就够用。现在高密度AI训练服务器进场,单机柜的功率直接翻到30千瓦甚至50千瓦以上,个别极限场景已经逼近100千瓦。也就是说,同样一个机柜空间里,要排走的热量比过去翻了五倍、六倍。
风冷不是不能排热,问题是代价高到你接受不了。为了多带走一倍热量,要么把风量往死里加,要么把送风温度往死里压。加风量意味着机柜风扇和空调风机转速拉满,整个机房变成噪音工厂,功耗也跟着飙涨;压温度意味着制冷机组长期处于高负载低能效区间,电费账单肉眼可见地变难看。所以很多团队最后发现,再往上堆风冷能力,大概率会在能耗指标上卡住。
还有一个更本质的物理限制。空气的载热能力就那么大,同体积下,水的载热能力大约是空气的三千倍。你让空气在一个机柜通道里来回吹,能搬走的热量十分有限;换成水或者冷冻液,一小根管子的输热能力就能顶好几台空调。这是物理事实,不是靠优化风道能翻盘的。
1.2 液冷不是花活,它是高密度散热的必然选择
液冷的基本逻辑很简单:用一种比热容高、导热性好的流体,把发热部件(芯片、内存、电源)上的热量带到机房外面的冷却塔或冷水机组,最终散到大气里。根据冷却介质和发热部件接触方式的不同,行业内大致分为冷板式、浸没式和喷淋式;按是否直接接触芯片,又分为直接液冷和间接液冷。
从热力学角度看,液冷能显著降低散热能耗。传统风冷机房的散热带走的能耗差不多占IT设备用电的20%到30%,而设计合理的液冷系统可以把这个比例压到10%以下。粗算一笔账:一个10兆瓦的算力中心,散热的额外电费一年就是几千万级别,液冷省下来的这部分非常可观。
当然,液冷不是简单把水管接到机柜里就完事。它涉及冷却介质选型、水质管理、密封防漏、流量分配、故障隔离,还有和原有空调系统的协同。这也是为什么不少运维老手一听到液冷就头疼——机房里多了水,等于多了几十个潜在漏点,传统的空调系统再复杂也是干空气,液冷是实打实的流体系统。所以,液冷方向正确,但真正难的是可靠落地。而“可靠性”恰恰是航天热控技术最擅长回答的问题。
2. 航天热控技术到底给了液冷什么“外挂”
2.1 从卫星热管到机柜背板:环路热管和两相流的迁移路径
航天器在太空里是没有空气对流这回事的,电子产品产生的热量只能靠导热、辐射、相变还有流体泵送来搬走。这几十年下来,航天热控积累了大量极端环境下的传热经验,其中有三样东西跟数据中心液冷的关系最直接:环路热管、两相流冷却、微通道冷板。
环路热管(Loop Heat Pipe,LHP)听起来很专业,原理其实不难懂。它利用蒸发器里的毛细芯产生毛细力,驱动工质在环路里循环:工质在蒸发器吸热变成蒸汽,蒸汽走到冷凝器放热变回液体,液体再靠毛细力吸回蒸发器。整个过程不需要机械泵,没有任何运动部件,在卫星上已经稳定运行了很多年。数据中心液冷借鉴的不是“不用泵”本身——大型机房当然离不开泵,而是借鉴它这种极简循环和天然冗余的架构思路。比如机柜级液冷单元里,就完全可以做成多条独立环路,任意一条失效,其他环路继续工作。
两相流冷却则是利用工质沸腾时的潜热来吸热。潜热有多大?一公斤水在标准大气压下汽化要吸收两千多千焦热量,而同样一公斤水升温一度只需要四点多千焦。也就是说,相变换热用很小的流量就能带走很大热量,这正是高热点芯片最需要的。难点在于两相系统对压力和温度控制要求极其苛刻,成本偏高,目前商用液冷主要还是单相为主、两相为辅。但相变冷板在航天系统里有大量工程验证数据,给后续高功率芯片冷却留了一条成熟的技术通道。
微通道冷板就更好理解了:在紧贴芯片的金属冷板内部,加工出密密麻麻的微型流道,把换热面积做到极大化。这套工艺最早也是为航天电子设备散热开发的,这几年成本降下来之后,大规模用在服务器冷板上,热阻可以做到比传统风冷散热器低一个数量级。
2.2 航天级冗余设计、密封与泄漏控制如何解除商用液冷的命门
液冷项目最怕的两个字:漏水。一次漏液可能直接毁掉价值几十万的服务器,几台互联设备烧起来,损失更大。航天产品在地面测试和空间运行中,对流体接头的密封性、耐压性、寿命都有极其严苛的要求。大家可能没注意到,现在液冷系统里常用的无滴漏快接头、自动锁止阀、二次防脱结构,追根溯源都能从航天流体对接机构里找到技术原型。
我具体拆解一下,航天级流体控制经验落到数据中心液冷,核心是四层防护:
- 第一层,接头本体和管路的密封,接插件要有极高的耐压和耐疲劳能力,插拔几百上千次都不渗漏。
- 第二层,自封阀结构,拔下接头时阀门自动封死,管路和液冷模块两边都不漏水,这是插拔式方案能安全运维的前提。
- 第三层,冗余设计和故障隔离,重要节点采用双路供给、自动切换,一个模块出问题不会牵连整个机房。
- 第四层,整机系统的检测与预判,用压力、流量、电导率、漏液传感数据做健康评估,在漏水真正发生前先发现问题。
说白了,航天技术给商用液冷带来的不是某一块冷板或者某个水泵,而是一整套“在极端环境下不允许失败”的设计方法论。这个方法论正好打在商用液冷最痛的软肋上。所以像“塔能”这类方案把航天热控技术作为卖点,不是拿概念唬人,而是确实能解决行业落地时最担心的可靠性问题。
3. 插拔式改造凭什么能省钱省时省事
3.1 三张路线图对比:冷板整柜、浸没式和插拔式改造
新建数据中心和存量机房改造,完全是两码事。新建可以从机柜、供电、水系统一起规划,直接上冷板式整柜液冷,效果最好;但大多数企业的问题恰恰是现有机房已经跑着业务,服务器不能停、不能拆、不能换,这时候液冷怎么上?
我把常见路线拉出来对比了一下:
| 技术路线 | 典型方式 | 施工复杂度 | 对现网影响 | 单项目投资 | 散热效率 | 适用场景 |
|---|---|---|---|---|---|---|
| 冷板式整柜液冷 | 服务器内部加冷板,专用液冷机柜交付 | 高 | 需要整柜替换或IT设备定制 | 高 | 极高(直接冷却芯片) | 新建智算中心、整柜搬迁 |
| 浸没式液冷 | 服务器整体浸入冷却液 | 很高 | 需要换专用服务器、反复验证兼容性 | 很高 | 极高 | 极端密度、极限PUE场景 |
| 插拔式背门/风液混合改造 | 机柜背门加装液冷换热模块,快接头接入水系统 | 低 | 不影响服务器本体,逐柜施工 | 较低 | 中高(间接冷却机柜风道) | 存量机房升级、分期扩容 |
插拔式改造最大的价值,就是“不动服务器”。它把液冷的核心设备做成了标准模块,挂在机柜后门或者背板上,通过工业级快接头与外部冷却水管路一插即连。现场不用焊接、不用改服务器内部、不用关机太久,一台机柜的改造可以控制在半天左右,而且可以按机房分区、按业务优先级分批次进行。
这带来的直接好处是,机房的空调系统压力大幅降低。原有机柜排出的热风在背门换热器里先把热量交给冷却水,冷却后的风再回到服务器进风侧,风侧的温度梯度明显改善,空调系统只需要承担剩下的那部分热负荷。实测下来,改造后单机柜可支撑的功率密度从8到10千瓦提升到25到30千瓦以上,对绝大多数高密度需求已经够用。
3.2 一个容易被忽略的真相:赶着上最新技术,不如先把存量盘活
很多团队一提到液冷,条件反射就是“要建就建最先进的”,但这种思路在算力中心这个赛道上不一定划算。原因很简单:算力中心的迭代速度太快,服务器硬件平均两三年换一代,你今天建的整柜液冷,三年后可能又要跟着新芯片重新适配。相比之下,插拔式背门改造相当于把基础设施层的能力先提上来,不管后面服务器怎么换,这套水冷却平台都能继续用。
这会直接影响成本核算。新建冷板式液冷机柜的单位千瓦造价,明显高于存量机柜改造。同时,新建项目还要考虑冷冻站扩容、配电改造、机房承重加固等一堆隐性成本。插拔式改造则更容易利用现有的冷冻水系统或者独立加装小型CDU(冷量分配单元),把一次性的资本支出压下来。
当然,插拔式改造不是万能药。如果单机柜功率密度要上50千瓦以上,或者对PUE有极致要求,背门这种风液混合方式还是不如直接冷板。但就市面上绝大多数“先把AI集群跑起来”的真实需求来看,先做插拔式风液混合改造,把存量机房的散热潜力释放出来,很多时候是性价比最高的过渡方案。
4. 一次真实的存量机房改造:从勘察到稳运行的完整示范
4.1 前期勘察要盯住的六个数字
纸上谈兵没有意义,我拿一个真实遇到的案例来讲。某智算中心A,机房原本按8千瓦每柜设计,800个机柜,冷冻水系统是12度进、18度回。因为要上一个推理集群,单柜负载规划到28千瓦,普遍风力散热显然撑不住。我们接手后没有急着上设备,先花了一周做勘察,重点盯六个数字:
- 现有空调系统的实际剩余制冷能力,不是查铭牌,是看运行曲线。
- 冷冻水系统的工作压力、可承受流量上限。
- 机柜本身的承重和空间余量,背门模块挂上去之后会不会压坏柜体。
- 地面防水、排水条件,水管万一漏了往哪里流。
- 机房现有温湿度基线和露点温度,用来判断背门冷却会不会结露。
- 服务器负载曲线和热点分布,不能只看总量,要看哪几排机柜最热。
这些数据直接决定选多大容量的CDU、用多粗的管、几路供水、二次侧定多少温度。我们最后定的参数是:一次侧16度进21度回,二次侧26度进31度回,单柜二次侧流量大约5.2立方米每小时。二次侧水温取这么高,是为了和机房环境拉开温差,避免背门换热器表面结露。原理上,液冷系统水温越高,带去冷却塔散热的效率越好,但要防止冷凝水落在电气设备上,所以二次侧水温不是越低越好。
4.2 施工、打压测试和联调:最容易返工的两道工序
真正施工阶段,最花时间的不在装背门,而在打压测试和联调。这里有两个环节新手特别容易返工。
第一道是管路气密性测试。液冷系统最怕慢漏,连接完每一段管路之后,必须进行保压测试。具体做法是向系统内充入氮气,按设计工作压力的1.5倍保压24小时,压力降不能超过允许值。我们第一批施工时为了赶工期,只保压了两小时就充水联调,结果第二天就发现两处活接头有细微渗水。后来老老实实按规范来,每批次都做足保压,后续没再出过漏液问题。
第二道是插拔接头的现场复检。接头在车间测试时是干净状态,到了机房施工现场,难免沾上灰尘、碎屑。插拔动作一旦带入杂质,密封圈寿命会大幅缩短。所以每一批接头安装前,都要用无尘布和专用清洁剂擦干净插接面;首次插拔完成后,还要用检漏试纸逐一对接口检查。
整个项目分了三个批次实施,共改造210个机柜,每批约70个柜,纯施工时间分别是三天半、三天、两天半,越做越顺手。过程中只需要对单个机柜短暂下电,业务负载可以在相邻机柜之间迁移,整个集群没有发生过一次完整停机。
4.3 改造后的实测数据与收益核算
改造完成后,我们连续监控了一个月,核心数据对比是这样的:
| 指标 | 改造前(风冷) | 改造后(插拔式背门+CDU) |
|---|---|---|
| 单柜可支撑功率 | 8-10 kW | 28 kW |
| GPU服务器进风温度 | 24℃左右,波动大 | 27℃左右,波动小 |
| 芯片热点温度 | 频繁接近85℃ | 稳定在72-76℃ |
| 降频比例 | 约3% | 基本为0 |
| 机房整体PUE | 1.35 | 1.25 |
| CDU自身电耗占比 | 无 | 约3% |
说明一下,这个PUE是风液混合系统在整个机房层面的实际表现,不是液冷区单独的数值。相比纯冷板式液冷能做到的1.1以下,它并不算极致,但在不改IT设备、几乎不中断业务的前提下,把PUE从1.35压到1.25,同时把单柜承载能力翻了三倍,这个结果对既有机房来说已经相当划算。
电费账也很好算。这个项目改造后,IT负载大约5兆瓦,按PUE降低0.1算,每年省下的散热电费大约在几十万元级别,如果算上因降频消除带来的算力产出提升,投资回收周期不到两年。这个回报率在基础设施投资里算是很健康的。
5. 液冷改造的坑,大多不在建设期而在运行期
5.1 水质、接头寿命和漏液预警:被低估的三个长期问题
项目建完不等于结束,真正考验人的是后面三年。我总结下来,运行期最容易出问题的不是设计参数,而是三个长期变量。
首先是水质。冷却液长时间循环,电导率会缓慢上升,滋生的微生物会形成生物膜,降低换热效率,还会腐蚀冷板。所以二次侧系统一定要装在线电导率监测和过滤器,定期取样化验。我在另一个项目上见过,因为图省事直接用自来水补液,三个月后冷板流道里就开始结垢,换热效率下降百分之十几。正确做法是初期充注去离子水加缓蚀剂,日常补水也要经过软化处理。
其次是接头寿命。插拔式接头方便是方便,但密封圈是消耗品,频繁拔插、温度循环都会让它慢慢老化。建议每台机柜的接头建立台账,记录插拔次数和安装日期;密封圈更换周期一般按照厂商推荐来,重要节点要提前复测。
再次是漏液预警。很多机房只装了最基础的漏液报警线,但漏液传感器覆盖不到的地方才是真正风险区。我们后来在每个背门模块的底部增加了一个集液托盘,托盘里放漏液传感器,一旦有冷凝水或者微量渗液,先把液体接住,再触发告警,避免直接滴到服务器上。这个小改动成本很低,但能救命。
5.2 运维团队最需要建立的几个新习惯
机房运维团队以前的核心技能是看风道、调空调、盯温湿度。引入液冷之后,这套经验只对了一半,新的关注维度是水压、流量、电导率、漏液告警和冷却塔侧的能耗。我们刚开始培训运维同事时,大家最不适应的是“故障优先级”变了——以前是温度告警第一,现在是漏液告警最紧急。一位老手说过一句话,我觉得很贴切:风冷系统出问题,你有一小时反应时间;液冷系统漏液,你只有几分钟。
应急流程也必须重写。给运维团队制定了一个很具体的SOP:接到漏液告警后,第一件事是观察告警位置并远程关闭对应支路的电动隔离阀,不必立刻全机房下电,避免扩大业务损失;同时安排人员携带堵漏夹具、吸水棉、吸附条到现场处置;处置完成后再评估是否需要断电抢险。这套流程做过两次实际演练,第一次花了十来分钟才反应过来,第二次已经能在一分钟内完成定位和阀门动作。
另外,一定要关注二次侧水温与机房露点的关系。背门换热器把风温降到露点以下时,翅片表面就会结露,轻则降低换热效果,重则滴水到设备上。所以二次侧供水温度需要比机房露点高至少两到三摄氏度,并且在背门表面做防凝露涂层,才能长期安全运行。
5.3 兼容性边界:不是所有机柜都能硬上插拔式
最后必须泼一盆冷水:插拔式改造看着简单,但兼容性边界要提前摸清楚。有几类机柜不建议直接硬上:
- 机柜承重不够的,背门模块加上满管水的重量,可能会让柜体变形。
- 机柜前后门净深不足、内部设备前后风道方向不直的,装了背门反而挡风。
- 老旧机柜内部风道混乱、密封性差,背门冷却的风还没送到设备进风口就泄漏了大半,效果会大打折扣。
- 无任何水系统条件、又无法安装CDU的小型机房,只能先考虑干冷板或者热管背板这类无源方案。
建议的做法是先选两台典型机柜做试点,跑两周数据验证效果,再决定是否规模化。直接全机房复制方案,万一兼容性有问题,返工成本非常高。
6. 当下选液冷方案,我的判断框架
6.1 按机房现状分三类,给出不同的行动建议
面对客户和同行,我一般把选型问题压缩成三种场景:
第一种是全新建设的AI算力中心。这种不用犹豫,直接按冷板式整柜液冷规划,有条件的话在电力、水系统、机柜结构上预留两相冷却和更高密度升级空间。新机房没有存量包袱,不做直接液冷等于未来三年又要折腾一遍。
第二种是已有稳定业务、不能长期停机的存量机房。如果单柜目标功率在15到40千瓦之间,优先考虑插拔式背门/风液混合改造。它不碰服务器、施工时间短、可按批次推进,还能复用现有空调系统的一部分能力,适合大多数云厂商和中大型企业的算力扩容。
第三种是追求极致密度和极限PUE的场景,比如某些超算集群或研究型算力中心。单柜40千瓦以上、空间又极其有限时,可以认真评估单相浸没式液冷,虽然运维复杂度和初期投资都比较高,但它能把单位空间的算力堆到极致。
6.2 决定上液冷前,务必先算清这三笔账
不管选哪条路线,决策之前都要把三笔账算清楚,别只盯着散热效率一个指标。
第一笔是总投资账。液冷系统不是买几块冷板就完事,CDU、管路、阀门、水质处理、监控系统、施工费用加一起,才是真实成本。插拔式改造的“便宜”是相对新建而言的,前提是现有风冷基础设施还能复用;如果机房水系统本身要推倒重来,这笔钱也不会少。
第二笔是运行费用账。液冷省了空调电耗,但多了水泵电耗和水处理成本。CDU内部的循环泵、冷却塔风机,这些都是新增的耗电设备。我见过一个方案,系统算下来省了30%的机房整体散热能耗,结果那台CDU的泵选得过大,光泵的功耗就吃掉了一半收益。泵、风机、冷却塔的匹配很重要。
第三笔是风险和运维账。液冷系统把原本集中在空调机电侧的故障风险,扩散到了每一台机柜旁边。这意味着巡检频次要增加、备品备件要储备、故障演练要常态化。运维团队的培养成本和心理压力,在选型阶段最容易被人忽略。
从我个人的实践体会来说,液冷方案没有绝对的最优解,只有“在这个时间点、这个机房条件下最合适的解法”。插拔式改造这个方向之所以值得关注,就是因为它把“航天级可靠性”和“不动存量”这两个关键诉求结合到了一起,让大多数现有机房不必推倒重来,就能跟上高密度算力的浪潮。如果你手头正好有一个存量机房要升级,我的建议很直接:先找一个机柜试点,跑通它,数据会告诉你下一步该怎么走。