1. 项目背后:为什么AI数据中心突然卡在“电”上
先说个直白的现实:这几年做AI基础设施的同行都有一个共同感受——算力芯片的迭代速度已经快过供电系统的迭代速度。单机柜功耗从过去的6kW一路干到30kW、50kW甚至更高,CPU、GPU的峰值功耗像坐火箭一样往上蹿,但电源系统还停留在老一代的标准里。很多机房明明有空位,却因为“供不上电”白白闲置,这事搁谁身上都头疼。
Open Rack V3 HPR V2 12kW PSU就是在这个背景下被推到台前的。简单说,HPR是High Power Range的缩写,V2是这一代大功率电源模块的第二个版本,单模块额定输出12kW。它属于Open Rack V3整机柜标准的供电单元之一,专门为高密度AI算力节点设计,用来替代老款6kW、9kW级别的电源模块。单个模块12kW意味着什么?一个标准ORv3机柜如果配6个这样的PSU,理论上总供电能力能到72kW,配合高压直流母线,基本能喂饱当前主流AI服务器的功耗需求。
这篇文章就是把这些年的工程设计笔记整理出来,围绕12kW PSU从需求拆解、拓扑选型、机械结构、数字控制到实测排查,完整过一遍。适合正在做数据中心供电设计、服务器电源开发、或者机房运维想搞明白“柜顶那一排电源到底怎么回事”的朋友参考。
2. 把AI负载的脾气摸透:设计需求拆解
2.1 传统服务器电源被什么打败了
老一代电源设计通常按照“平均功耗加一点余量”的思路来做。传统CPU服务器虽然也有睿频、也有峰值电流,但功耗波动的幅度有限,持续时间也短,电源的保持时间和动态响应规格基本兜得住。
AI加速卡完全不同。GPU在训练任务里会出现秒级甚至毫秒级的功耗跳变,比如一个batch计算开始,整卡功耗从200W瞬间冲到800W;多个加速卡同步运行,整个节点的电流摆动幅度非常夸张。实测中我们见过整机电流在20A到120A之间以数kHz频率来回震荡的场景。这种负载特性对电源的动态响应、环路稳定性、输出电容配置提出了完全不同的要求。
另一个要命的是功耗密度。传统1U/2U服务器电源占用的体积是固定的,PSU做得再大,机箱里也塞不下。AI节点往往是8卡、10卡甚至更多卡的配置,GPU占掉了大部分空间和风量,留给电源的位置非常有限。在这个前提下还要把单模块功率从9kW提升到12kW,只能靠提升转换效率和功率密度,这两件事拧在一起就是设计上的最大矛盾。
2.2 ORv3标准的几个硬约束
Open Rack V3规范把电源模块的物理尺寸、电气接口、通信协议都固定下来了,属于“戴着镣铐跳舞”的设计。几个关键硬约束先说清楚:
- 安装方式:ORv3的PSU是水平插拔,从机柜正面维护,金手指连接器朝后对接背板母排。这意味着电源整体是扁长型结构,散热风道被迫做成侧面进风、后部出风或者后部进风、前部出风,和传统服务器的前进后出结构完全不同。
- 输入母线:ORv3机柜采用三相交流输入,经过机柜级整流后变成高压直流母线(典型值380V DC或400V DC),PSU直接吃直流。不过在HPR V2方案里,很多设计仍然保留了AC/DC和DC/DC混合输入的兼容能力,方便不同数据中心灵活部署。
- 通信总线:电源必须通过PMBus接口上报电压、电流、温度、效率、故障码等信息,整机柜管理控制器(RMC)实时监控所有PSU状态。协议层的兼容性是硬指标,不是可选项。
- 模块冗余:标准机柜通常配6个12kW模块,负载按5个模块满载设计,留1个模块作为N+1冗余。这个冗余逻辑要求任何单模块拔插、故障都不影响系统输出,热插拔和故障隔离是必须做到的基础功能。
这些约束叠加起来,基本就把设计空间框死了。电源的宽度、高度、长度,散热方式,连接器位置,甚至螺丝孔位都不能随便动,不然装不进机柜,也过不了互操作测试。
2.3 12kW这个数字是怎么定下来的
很多人问,为什么不干脆做15kW、18kW?这里面有个性价比和可靠性的权衡。
12kW是综合考虑了半导体器件极限、散热能力、连接器载流能力和用户侧需求之后的一个平衡点。以目前主流功率半导体的水平,单模块12kW、输入380V DC的情况下,输入电流约32A,输出12V时电流高达1000A。输出电流破千安之后,连接器、铜排、PCB走线、同步整流管的并联数量都会急剧膨胀,再往上升,成本就不是线性增长而是指数增长了。
同样重要的是单点故障域控制。一个模块18kW,坏了就是18kW的缺口,冗余成本太高;模块做小一点,单点故障的影响范围也小,但模块数量太多又会挤占机柜空间、降低整体效率。12kW配6模块N+1冗余,5+1的架构刚好是当前AI机柜功耗档位(40kW~60kW)的最优解。
3. 拓扑选型与核心电路设计
3.1 两级架构为什么是当前最优解
12kW PSU的功率链路目前主流方案是两级架构:前级PFC(功率因数校正),后级LLC谐振变换器,再往后是同步整流输出。对于380V DC输入的特殊场景,前级PFC可以旁路,直接进入后级DC/DC,设计上用继电器或半导体开关做模式切换。
为什么用PFC+LLC而不是其他拓扑?原因很实在:
- PFC把输入电流波形掰成正弦,保证功率因数接近1,不然一个机柜几十千瓦的谐波电流能让上游变压器和UPS直接过载。
- LLC谐振变换器天然适合大功率、高密度场景,因为它的开关管能实现零电压开通(ZVS),次级整流管配合同步整流能做到零电流关断,开关损耗压得非常低,效率容易做到97%以上。
- 两级架构的中间母线(通常380V~400V)给了系统很大的灵活性,比如可以做母线储能、支持短时掉电保持,也方便把不同输入源接进来。
当然也有做单级隔离式PFC的尝试,比如把PFC和隔离变换整合到一起,省掉一级母线电容。但问题是控制复杂度上去了,动态响应和保持时间不好兼顾,工程上的成熟度和可靠性还不如两级方案。在这个功率级别上,追求稳妥远比追求账面指标重要。
3.2 PFC级的关键器件与参数
PFC级的输入范围要覆盖90V~264V AC全电压段,额定输入220V AC,输出母线设定在400V DC。在12kW功率等级下,输入电流的RMS值最大能到60多安培(低电压段),这就要求整流桥、升压电感、开关管、快恢复二极管的电流定额都留足余量。
实际选型中,我倾向于用两颗或者三颗分立MOSFET并联做升压开关,相比单颗大模块,并联方案的热分布更均匀,失效模式也更友好。开关频率设计在65kHz左右,这是EMI和磁性元件体积之间的折中。频率再高,电感可以做小,但开关损耗和EMI滤波器成本都会上来;频率太低,磁性元件体积压不住,功率密度上不去。
PFC电感是这个环节最容易翻车的器件。12kW下电感电流的纹波分量很大,磁芯损耗、铜损都集中在这么一个小东西上,散热条件又差。我的经验是磁芯材料选低损耗的铁硅铝或者非晶,绕制时务必采用利兹线或者多层箔绕,把高频集肤效应带来的额外铜损压下去。电感的热设计要按最高环境温度加满载的条件算,不能只按典型工况留余量,不然高温老化测试一跑就露馅。
3.3 LLC谐振变换器的参数计算过程
LLC是整个电源效率的核心,参数设计直接决定满载效率和轻载效率能不能兼顾。下面用12kW、输出电压12V的方案举个例子,把计算过程捋一遍。
先定关键参数:
- 输入母线电压:380V DC(范围360V~400V)
- 输出电压:12V DC(实际按11.4V~12.6V调节范围设计)
- 满载输出电流:1000A
- 谐振频率:110kHz(考虑GaN器件的能力,可以做到更高,但磁件和驱动配套的复杂度和成本会上升)
- 匝比n(原边/副边):按输入380V、输出12V加整流压降估算,约15.5:1
变压器原边等效负载电阻Rac可以用公式估算:
Rac = 8 × n² × Vout² / (π² × Pout)
代入:8 × 15.5² × 12² / (3.1416² × 12000) ≈ 2.35Ω
这个Rac是后面算谐振参数的基准。LLC的电压增益范围按母线波动来定:输入最低360V时,要保持输出稳定,增益至少要补偿到380/360 ≈ 1.056;考虑负载调整和动态跌落,实际增益范围设计在0.95~1.15之间比较合理。
谐振电感Lr和谐振电容Cr的取值,决定励磁电感Lm与负载的匹配关系。常用的做法是先定K值(励磁电感与谐振电感之比),K取5~7比较常见。K太大,频率调节范围窄,轻载稳压困难;K太小,环流偏大,效率受损。
以K=6、谐振频率110kHz为例:
Lr = Rac / (2π × fr × K) 近似估算时还要乘上增益修正,工程上我一般先用仿真工具做初算:Lr取值大约8~12μH,Cr对应谐振电容约180~220nF,励磁电感Lm约50~70μH。最终数值要在满载效率、轻载调频范围、短路特性之间做三轮以上的迭代优化。
这里有个工程技巧:Cr要用CBB薄膜电容,耐压必须按峰值电压的1.5倍以上选,ESR要低,而且尽量用多个小容值并联,降低单个电容的应力,同时减小寄生电感。谐振电感的磁芯要开气隙,气隙大小直接影响电感量的温度稳定性,磁芯材料选3C95或者同类高磁通密度功率铁氧体。
3.4 同步整流与输出侧设计
输出12V/1000A,次级同步整流是绕不开的。整流管清一色用低压大电流MOSFET并联,比如单颗40V耐压、单管电流能力200A级别的管子,4到6颗并联,利用导通电阻Rds(on)远低于肖特基二极管的优势把导通损耗压下来。
但并联MOSFET有个坑:均流和寄生振荡。每颗管子的栅极驱动阻抗、源极电感、门限电压略有差异,并联后高频开关瞬间可能产生电流集中和振荡。具体表现是某一颗管子特别烫,或者开关波形上出现严重的振铃。我的处理办法是:
- 每颗管子单独串一个栅极电阻(比如2.2Ω~4.7Ω),阻尼高频振荡
- PCB布局上确保每颗管子的源极到输出母排的寄生电感尽量一致,走线等长化
- 如果条件允许,用一颗集成多通道驱动芯片来做并联驱动,时序一致性会更好
输出电容是另一个大头。1000A的负载瞬态下,输出电压跌落幅度要控制在3%以内,保持时间要满足规范要求。常规做法是堆电解电容加陶瓷电容的组合:电解电容提供大容值维持能量,陶瓷电容提供低ESL/ESR扛高频瞬态。这个规格下,输出电容总容量做到几万微法很正常,关键是把电容组靠近负载端放置,缩短功率回路,不然电容装得再多也是白搭。
4. 结构、散热与可靠性设计
4.1 ORv3标准下的机械设计约束
Open Rack V3的12kW PSU外形尺寸是有明确规范的,通常宽度在73mm左右,高度在40mm左右,长度在400mm级别。这个扁长比例意味着内部PCB布局必须沿着长边展开,功率链路从输入端经过PFC、LLC变压器、同步整流到输出端是“一字排开”的。
这样的布局有几个直接影响:
- 功率回流路径变长,寄生电感随之上升,开关应力增大。所以每一级的局部解耦电容必须贴器件放,不能指望远端大电容。
- 结构件承担导热角色。电源底部通常是铝合金底板,发热器件通过绝缘导热垫把热量导到外壳,再由外壳传导到机柜的冷板或者通过风道带走。电源本身的导热设计做得好不好,直接影响器件结温而不是只看风扇大小。
- 连接器方向固定。输入输出金手指都在后端面,正向插拔。由于输出电流高达1000A,金手指的连接器要采用多层触指并联结构,插拔力很大,维护人员操作时需要有辅助把手。
我在实际项目中踩过的一个坑是:结构设计初期没给金手指连接器预留足够的公差浮动空间,量产阶段发现部分PSU插入机柜后接触电阻偏大,导致连接器温升超标。解决方式是调整连接器的浮动安装结构,并增加出厂前的插拔力测试和接触电阻抽检。
4.2 风冷、液冷还是混合冷却
12kW模块的发热量按97%的效率估算,满载损耗约370W。这个热量如果全部靠自身风扇排出,对风道设计的压力非常大。ORv3机柜的实际情况是:前面板进风,经过服务器节点后温度已经升高,电源模块处在机柜后部,进风温度可能达到45°C甚至50°C。在这种进风温度下靠纯风冷维持12kW输出,风扇转速会很接近极限,噪音和可靠性都不乐观。
所以HPR V2的设计里,更大功率档位往往搭配液冷方案。电源模块壳体上集成水冷板,通过快速接头接入机柜的冷却水回路。冷却液温度通常在25°C~45°C之间,水的比热容远高于空气,换热效率完全不在一个量级。液冷之后风扇可以降到很低转速,甚至可以做成无风扇设计,噪音问题也顺带解决了。
需要考虑的额外风险是:液冷回路增加了漏液隐患,快速接头的可靠性、水质管理、防冻液的腐蚀性都要纳入整体方案评估。我的建议是,在做设计选型时不要一上来就决定风冷还是液冷,先看部署场景:如果是传统风冷机房改造,就坚持风冷版本;如果是新建的AI算力中心,直接上液冷,省掉后期改造的麻烦和成本。
4.3 用N+1冗余换系统可用性
六个12kW模块共同为负载供电,任何单模块故障,其余模块自动承担其输出份额,这个过程不需要人工干预,不需要停机。为了实现这一点,背板母排的设计和电源模块的输出特性曲线必须匹配。
关键设计是“均流”和“下垂”控制。最简单的实现方式是输出下垂法:电源的输出电压随负载增加略微下降,所有并联模块会自动在同一个工作点上平衡。但这种方案负载调整率变差,精度有限。更精密的是有源均流,模块之间通过均流总线交换电流信息,数字控制器实时调整输出参考值,稳态均流精度可以做到5%以内。
做N+1冗余时还有一个容易忽略的点:模块热插拔的瞬态冲击。插入一个全新模块时,它从待机状态切换到满载输出,如果输出电容充电电流没有限制,背板母线上会出现很大的浪涌,可能导致机柜断路器误动作。所以热插拔必须有预充电电路和软启动时序,先通过限流电阻给输出电容充电,电压趋近母线后再闭合主接触器。
5. 数字控制、通信协议与系统联动
5.1 数字电源为什么是必修课
12kW这个级别的电源,靠模拟控制芯片堆外围电路基本玩不转。原因很朴素:环路参数需要在线调整、负载瞬态响应需要自适应优化、故障诊断需要记录黑盒信息、与整机柜管理控制器通信需要固件支持。这些功能没有数字控制器的参与,每一样都能把硬件工程师逼疯。
主控DSP或者MCU的选择主要看三点:运算性能、PWM外设精度、ADC采样率。控制环路一条电流内环、一条电压外环,加上PFC的双环控制,运算量不大,但PWM分辨率要做到几百ps级别,ADC采样率至少要跑到1MSPS以上才能捕捉到高频动态事件。
我常用的架构是:一颗MCU同时管理PFC和LLC的控制,外加一颗逻辑芯片处理通信和状态机。这样既保证实时控制环路的确定性,又方便后期添加新功能。数字控制的好处还体现在调试阶段:参数全在寄存器里,不用反复换电阻电容,改一个环路增益只需要刷一次固件。
5.2 PMBus协议层的设计细节
ORv3标准要求PSU支持PMBus 1.3或更高版本,命令集要覆盖输出电压/电流/功率的读取、故障状态上报、风扇转速、温度、厂商信息和序列号等。实际开发中,协议栈本身的工作量不算大,难的是“故障状态上报”的业务逻辑怎么组织。
比如过流保护触发后,PSU要明确区分是“瞬时过流”“持续过流”还是“输出短路”,每个故障类型对应的状态位、SMBALERT中断行为、LED指示都要定义清楚。运维人员在现场看到一颗电源亮红灯,不会每次都想打开日志分析,直观的故障类别提示能省很多事。
PMBus的物理层也容易踩坑:通信速率通常设置为100kHz或400kHz,为了抗干扰,I2C总线上需要做电平转换和ESD保护。模块热插拔时总线信号不能反灌到其他模块,否则整排电源管理全部掉线。某个项目里我就遇到过PSU插入瞬间导致其他模块通信异常的问题,后来在PMBus接口加了一颗热插拔保护负载开关,问题才彻底解决。
5.3 固件升级与安全启动
数据中心电源的固件升级已经成了标配需求。整机柜管理系统需要支持批量升级所有PSU固件,同时保证升级过程中即使有一两个模块掉线,整个机柜的供电能力不受影响。
设计上要支持双Bank固件机制:当前运行在Bank A,升级时把新固件写入Bank B,校验通过后切换启动。一旦新固件在运行中出现严重异常,回滚到Bank A继续工作。这个机制实现不难,但很多人会忽略签名校验:不校验固件签名,一旦管理网络被入侵,恶意固件刷进电源模块,硬件层面就能被远程控制。所以合理的做法是固件包里附带签名,MCU启动时先校验,验证失败直接拒绝启动。
6. 实测数据、性能验证与问题排查
6.1 效率测试的几个隐藏门道
效率是12kW PSU的核心指标之一,钛金级标准要求在50%负载时效率达到96%以上,满载也要在94%到95%以上。实际测试效率时,有几个地方特别容易出现“测试结果好看但实际翻车”的情况。
第一个是测试仪表本身的精度。大电流下,输出回路的铜排连接电阻、电流探头的位置都会引入误差,测出来的损耗可能比实际小不少。我建议用两台校准过的功率分析仪分别测输入和输出,而且必须在电源稳定热态下测试,冷态器件的压降、导通电阻和热态差别很大。
第二个是效率曲线的“驼峰”设计。电源的最佳效率点通常设计在50%~60%负载附近,轻载和满载效率都会低一些。AI负载的特点是大部分时间跑在70%~90%功率段,偶尔冲刺满载,所以要把效率曲线的高效区间对准实际负载段,而不是理论上的半载点。
第三个是辅助电源的损耗占比。12kW主功率路径效率做到97%,但控制板、风扇、通信电路这些辅助负载加起来可能有个30W~50W,折算到整机效率上就是0.3~0.4个百分点的损失。优化辅助电源拓扑和轻载管理策略,把这些杂散损耗压下来,整机效率才能从96.3%跳到97%。
6.2 动态响应的实测案例
给AI服务器供电,最怕的就是负载剧烈跳动时输出电压跌出规范范围。实测中我见过一个典型案例:GPU任务调度引发的负载阶跃,从10%负载瞬间跳到90%负载,上升沿时间在20μs左右,电压跌落需要控制在300mV以内(按12V输出的3%折算)。
我在实验室做过对比测试。使用纯电压环控制时,这种瞬态下电压跌落到了720mV,超出规格;后来在环路前馈中加入负载电流前馈,电流变化信号直接叠加到控制量上,动态响应改善非常明显,跌落压降降到了280mV以内,恢复时间也缩短了一半。
这个案例说明一个工程常识:环路不光是带宽越高越好,更重要的是负载变化的前馈补偿和快速响应路径。数字控制环境下,实现前馈只需要几分钟改代码,但前提是ADC的采样速率和PWM的更新率够快,这就回到了前面说的选型关键参数。
6.3 常见故障模式与排查速查表
做电源项目几年,遇到的故障类型翻来覆去就那么几类,但每次跳进去查还是很费时间。下面整理一个速查表,按“现象、可能原因、解决方向”的格式写,方便现场参考:
| 故障现象 | 可能原因 | 检查方向 |
|---|---|---|
| 模块上电无输出 | 输入欠压锁定、保险丝熔断、控制供电异常 | 先用万用表量输入母线和辅助电源输出,再查保护寄存器 |
| 输出电压偏低 | 输出电容老化、环路参考漂移、负载过流触发限流 | 查看PMBus读取的输出电压/电流值,比对设定值 |
| 模块温度过高报警 | 风道堵塞、风扇失效、导热垫老化、负载不均流 | 检查风扇转速反馈,测壳体温度分布,排查导热接触面 |
| 均流偏差大 | 均流母线断线、模块间PMBus通信干扰、输出采样偏差 | 测量各模块输出电流,检查均流线和接地完整性 |
| PMBus通信异常 | 总线电平冲突、地址冲突、ESD损坏 | 单独接USB适配器测试,核对地址和上拉电阻 |
| 风扇噪音异常 | 风扇轴承磨损、PWM占空比突变、共振 | 低转速下逐个停转风扇定位异响源 |
6.4 从原型到量产的经典翻车现场
原型机调通和批量出货之间还隔着十万八千里,这是电源行业不变的真理。分享两个我印象深刻的教训。
第一个是EMI测试不过。设计阶段所有精力都放在效率和动态响应上,忽略了EMI滤波器的设计冗余。结果送测时传导骚扰超标,辐射骚扰更是超标6个dB。解决过程很痛苦:共模电感从两个增加到三个,X电容容量加大,PCB布局也推倒重来了一版。核心教训是EMI设计要前置,不是说最后加个滤波器就能兜住所有问题的。
第二个是器件降额的教训。满载老化测试跑了500小时后,发现PFC整流桥的温度比预期高了近20°C。查来查去发现根源是器件选型时只按满载电流的RMS值做了降额,没考虑电流峰值和PWM开关纹波的叠加效应。后来换了更大封装、引脚热阻更低的器件,温度才压下来。整流桥这个位置看似不起眼,一旦热失效,整机保护和后级全部会跟着掉。
7. 调试期最值钱的几个建议
最后聊几条调试阶段的心得,都是拿时间和更换物料换出来的经验。
第一件事,数字电源调试一定要先搭硬件在环测试台。纯靠真机调环路参数,效率太低,而且很多边界条件在真机上不容易复现。用仿真软件把控制算法跑通,再落到固件上,能省掉至少一周的调试时间。
第二件事,示波器探头的地线尽量用短地簧,不要用那个长鳄鱼夹。12kW电源的开关节点dV/dt非常快,长地线感应出来的振铃足以让波形看起来面目全非。很多所谓“振荡问题”,其实只是测量方法不对。
第三件事,从第一版PCB打样开始就保留完整的调试日志。哪个版本改了什么参数、为什么改、实测结果如何,全部记录下来。电源项目的调试周期往往横跨好几个月,不记录的话,三个星期前调过什么早就忘干净了,返工成本极高。
第四件事,热设计验证不要只在实验室常温下做。把电源放进模拟机柜环境的密闭腔体里,从冷启动一直跑到热稳定,记录完整温升曲线,重点看磁件、整流桥、同步整流管和输出电容这四类最容易老化的器件。
12kW PSU这个项目做完,我个人的体会是:在AI数据中心这个跑道上,电源系统已经从“配套部件”变成了“核心基础设施”。算力芯片的功耗每往上走一档,电源侧就要跟着把功率密度、效率、可靠性和智能化水平整个提升一圈。Open Rack V3 HPR V2 12kW PSU只是这条演进路线上的一个节点,未来更高功率密度、更智能的供电方案还会不断冒出来。先把这一代吃透,后面的路会好走很多。