训练神经网络这几年，我有一多半的“模型不收敛”最终都指向同一个元凶——不是网络搭错了，不是学习率没调好，也不是数据喂得不对，而是参数初始化没做好。很多人把PyTorch当黑盒，模型构建完直接传数据、算loss、backward，等loss变成了水平线才想起来检查权重。其实在一轮训练开始之前，每一层权重分布就已经悄悄决定了后面这条路是康庄大道还是万丈深渊。
这篇想把这个主题彻底聊透：为什么参数初始化能在训练的第一步就决定成败，Xavier和Kaiming这些主流方案背后的数学动机是什么，怎样在PyTorch框架下把初始化环节完全握在自己手里，以及我在实际项目中踩过的初始化相关的坑。适合刚入门PyTorch和神经网络基础的朋友，也适合那些训练过不少模型、却从来没主动干预过初始化的同学。相信我，看完你会忍不住去检查自己那几层网络到底是怎么“起跑”的。
1. 初始化是第一道关卡：从梯度传播看它为啥这么重要
很多教程在讲神经网络时，把初始化当成一个“选个随机数就行”的步骤一笔带过。但实际上，初始化的质量决定了网络在一开始处于损失曲面上的哪个位置，也决定了反向传播的梯度信号能不能完整地传回浅层。
1.1 一个让模型“学不动”的真实场景
先说一个我自己的案例。早年在本地跑一个浅层全连接网络做回归预测，结构很简单：三个隐藏层，每层64个神经元，激活函数用ReLU，输出层不加激活直接回归。数据归一化做得干干净净，学习率从1e-2一路试着降到1e-5，loss就是卡在某个值附近一动不动，连下降的苗头都没有。
排查了很久，最后把权重打印出来看分布，发现是我在用PyTorch搭网络时，手动把权重全部初始化成了均值0、方差特别大的正态分布随机数。前向传播时，每一层的输出都在指数级放大，到最后一层已经全是几百几千的量级，loss直接爆炸式增长，梯度也出现了大量NaN。把权重的初始方差降回合理范围之后，同一个模型、同一个学习率，几十个epoch就正常收敛了。
这个案例给我留下一个很深的印象：初始化问题往往不会在代码层面爆出红色报错，而是以一种“loss死活不降”的慢性病形式出现，折腾你几天几夜。想通这一点，就会明白我们为什么需要认真对待每一层参数的初始值。
1.2 梯度传播中的连乘效应：信号如何消失或爆炸
要理解初始化，先要看一次完整的前向和反向传播中发生了什么。以一个不带偏置的线性层为例，输出满足：
y = Wx
那一层的输入 x 有 n 个维度，输出 y 有 m 个维度。如果 x 的每个分量方差是 Var(x)，权重 W 中每个元素的方差是 Var(W)，那么 y 中某个分量的方差（假设各分量独立）大约是：
Var(y) ≈ n × Var(W) × Var(x)
也就是说，信号经过一层之后，方差被放大了大约 n×Var(W) 倍。为了让信息在多层网络中传递时既不衰减到零、也不膨胀到爆，一个自然的目标是让 Var(y) ≈ Var(x)。于是就有了第一个直觉结论：
Var(W) ≈ 1 / n
n 就是这一层的输入维度，在初始化理论里叫 fan_in（扇入）。
反向传播是同样的逻辑，只是信号变成了梯度。设 loss 对 y 的梯度是 dy，那么对 x 的梯度是：
dx = Wᵀ dy
此时经过这一层反向传播时，梯度的方差由输出维度 m（fan_out，扇出）决定。要让梯度反向传播时保持稳定，需要：
Var(W) ≈ 1 / m
前向希望按 fan_in 来定方差，反向希望按 fan_out 来定方差，两个需求不一致怎么办？这就是不同初始化方法分道扬镳的地方。比如Xavier取两者的调和折中，Kaiming则根据激活函数特性调整系数。但不管哪种方法，核心都是在控制连乘效应的放大倍数，让它稳定在1附近。
1.3 对称性陷阱：所有神经元变成同一个人
除了梯度消失和爆炸，初始化还藏着一个更隐蔽的陷阱——对称性。如果同一层的所有权重初始化为相同的常数，比如全零、全0.1，那么这层所有神经元的输入分布完全相同。反向传播计算出的梯度对每个神经元也完全相同。于是无论怎么更新，这些神经元永远走一样的路，整个隐藏层实际上退化成了一个神经元。
这就是为什么“全零初始化”在理论上被明确否定：它会让多层网络变成一层单神经元的表达能力。实际工程中没人蠢到全零，但不少人会把权重设成全零而忘了偏置，或者把线性层和卷积层的偏置习惯性设成全零——这本身没问题，只要权重本身是“各不相同”的随机数，对称性就被打破了。
偏置的初始化和权重逻辑不一样。权重一旦全相同会造成对称退化，偏置全零却无伤大雅，因为偏置的输入来自前一层的非对称激活值。大多数框架里的默认选项也是“偏置为0”或“很小的随机数”，这是合理的。
提示：随机数只是表象，核心是“破坏对称”和“控制方差”这两件事。任何初始化方案，本质上都是在回答这两个问题：每个参数的方差应该多大？在什么范围内取随机数？
2. 主流初始化方法解析：Xavier、Kaiming和其他选手的来龙去脉
深度学习研究这么多年，初始化方法也就那几款主流选手在打天下。Mike的入门路线图大概是：先认识Glorot（即Xavier）初始化，再掌握专为ReLU而生的Kaiming初始化，最后了解RNN场景下的正交初始化以及各类偏置、正则化层的处理。
2.1 Xavier/Glorot初始化：为对称激活函数而生的理论基准
2010年，Glorot和Bengio在《Understanding the difficulty of training deep feedforward neural networks》里提出了一个著名的方法，PyTorch里叫xavier_uniform_和xavier_normal_。它针对的是tanh这类关于原点对称、激活值在0附近的函数。
前面说过，方差的理想取值要兼顾前向的fan_in和反向的fan_out。Xavier的折中方案是：
Var(W) = 2 / (fan_in + fan_out)
如果是均匀分布 U(-a, a)，均匀分布的方差是 a²/3，那么：
a²/3 = 2 / (fan_in + fan_out)
解得：
a = √(6 / (fan_in + fan_out))
这样xavier_uniform_的标准边界就是：
W ~ U(-√(6/(fan_in+fan_out)), √(6/(fan_in+fan_out)))
如果是正态分布，直接取均值为0、方差为2/(fan_in+fan_out)。
这套方案有个隐含的假设：激活函数在零点附近的斜率接近1，比如tanh在0点的导数是1，sigmoid在0点的导数是0.25。所以你会发现，PyTorch的xavier_系列文档里明确写着“推荐用于tanh和sigmoid类型激活”。如果把它硬套在ReLU上，会因为ReLU直接把一半信号砍成0而导致方差不匹配。
2.2 Kaiming/He初始化：专门给ReLU家族打的补丁
2015年，何恺明团队在《Delving Deep into Rectifiers: Surpassing Human-Level Performance on ImageNet Classification》中推出了针对ReLU的初始化方案，也就是PyTorch里的kaiming_uniform_和kaiming_normal_。
ReLU有个特性：输入负数时输出恒为0。假设输入x分布关于0对称，经过ReLU后，约有一半的信号变成了0，剩余一半保持原样，整体方差大约只有输入的一半。这相当于信号每经过一次ReLU就减半。为了补偿这个衰减，Kaiming初始化把权重方差调整为：
前向模式下：Var(W) = 2 / fan_in
训练过程中，前向传播主要使用fan_in模式，所以PyTorch的kaiming_normal_默认mode='fan_in'。如果设置mode='fan_out'，则方差为2/fan_out，适合在需要保持反向梯度方差的场景下使用。
对于均匀分布版本，边界相应为：
W ~ U(-√(6/fan_in), √(6/fan_in))
注意这里的分母里没有fan_out。我之前见过有人把这个边界和Xavier搞混，结果模型浅层梯度衰减严重，训练半天loss纹丝不动。如果你用ReLU系激活，请认准Kaiming。
Leaky ReLU这类带泄漏斜率的激活也适用Kaiming，只是参数a要对应设置。PyTorch的kaiming_uniform_支持通过a参数传入负斜率。a=√5时，前面的计算已经帮偏置提供了一个合理的默认边界，这个在官方源码的Linear初始化里也在用。
2.3 偏置、BatchNorm和正交初始化：容易被忽略的细节
偏置初始化经常被忽略，但它也有自己的规范。全连接层和卷积层的偏置一般初始化为0即可，因为权重已经打破了对称性。PyTorch对Linear的默认偏置初始化并非完全为0，而是根据权重的fan_in算出一个边界：
bound = 1 / √(fan_in)
然后偏置在U(-bound, bound)内均匀采样。这个设计其实很讲究：它让偏置的初始量级和权重的输出量级匹配，避免网络初期输出分布发生大偏移。
BatchNorm层的初始化就更特殊了：权重（缩放系数γ）初始化为1，偏置（平移系数β）初始化为0。这意味着BatchNorm在训练初期保持输入分布的归一化状态，先让网络“见见原貌”，再逐步学习缩放和平移的必要性。如果你在加载别人代码时看到把BatchNorm的γ乱设成大数，模型通常很难收敛。
RNN和LSTM这类循环结构，还经常使用正交初始化。正交矩阵的列向量彼此垂直，有一个很好的性质：矩阵乘法不会扩大或压缩向量长度。这能在长期依赖传播中缓解梯度消失，让信息沿着时间步传得更远。PyTorch的nn.init.orthogonal_就干这个活儿。不是说你非用不可，但在训练较长序列时，让遗忘门偏置初始化为较大正值、让输入门偏置初始化为较小值，再配合正交权重，实际效果会明显更稳。
提示：第2节最后给个选择逻辑——激活函数是tanh/sigmoid时优先Xavier，是ReLU/LeakyReLU时选Kaiming，是RNN/LSTM时可在权重上加正交初始化。这三条基本覆盖了绝大多数网络。
3. PyTorch初始化实操：从默认规则到完全掌控
理论讲再多，最终要落到代码。PyTorch给了我们几层控制权：默认初始化、nn.init工具函数、apply批量处理、以及重写reset_parameters。我从易到难逐个说。
3.1 先搞清楚框架默认做了什么
很多人不知道，PyTorch在创建模型时已经做了初始化。比如nn.Linear和nn.Conv2d，默认权重使用kaiming_uniform_，bias默认使用U(-1/√fan_in, 1/√fan_in)。这对大多数ReLU网络其实是够用的。
想确认自己模型每一层的默认初始化长什么样，可以打印weight的均值和标准差，或者用m.weight.data.histc()看看分布。这里有个实用小技巧：在第一次前向传播前，把模型各层参数的均值、标准差逐层打印出来，一眼就能判断有没有层被初始化成了明显不合理的量级。
3.2 nn.init的API清单：动手改初始化
PyTorch的torch.nn.init模块提供了一套非常完整的函数。下面是常用的几个，我把它们的核心用途列出来：
- xavier_uniform_(tensor, gain=1)：适合tanh/sigmoid，均匀分布版本
- xavier_normal_(tensor, gain=1)：适合tanh/sigmoid，正态分布版本
- kaiming_uniform_(tensor, a=0, mode='fan_in', nonlinearity='leaky_relu')：适合ReLU/LeakyReLU
- kaiming_normal_(tensor, a=0, mode='fan_in', nonlinearity='leaky_relu')：同上，正态分布版本
- orthogonal_(tensor, gain=1)：适合RNN/LSTM
- ones_(tensor)、zeros_(tensor)：给偏置或BatchNorm的γ赋值
- constant_(tensor, val)：固定常数
- eye_(tensor)：单位矩阵初始化，偶尔用于特定的注意力层
使用方式也很直接，拿到一个weight之后重新赋值即可：
import torch import torch.nn as nn linear = nn.Linear(128, 64) nn.init.kaiming_normal_(linear.weight, mode='fan_in', nonlinearity='relu') nn.init.zeros_(linear.bias)需要注意，kaiming系列有nonlinearity参数，如果你漏传了，默认是'leaky_relu'，a默认0。如果实际激活是普通ReLU，建议显式写nonlinearity='relu'，避免把自己绕晕。实际上对于a=0，leaky_relu和relu的数学计算完全等价，但因为源码走的分支略有不同，显式写relu更语义化、更安全。
3.3 用model.apply批量接管整个模型的初始化
一个模型几十上百层，不可能每层手动去改。PyTorch提供了module.apply方法，它会递归地把传入的匿名函数作用在每个子模块上。这是实战中最常用的一招：
import torch.nn as nn def init_weights(module): acts = (nn.Linear, nn.Conv1d, nn.Conv2d, nn.Conv3d) if isinstance(module, acts): nn.init.kaiming_normal_(module.weight, mode='fan_in', nonlinearity='relu') if module.bias is not None: nn.init.zeros_(module.bias) elif isinstance(module, nn.BatchNorm2d): nn.init.ones_(module.weight) nn.init.zeros_(module.bias) model = nn.Sequential( nn.Conv2d(3, 16, 3, padding=1), nn.ReLU(), nn.MaxPool2d(2), nn.Flatten(), nn.Linear(16 * 14 * 14, 10) ) model.apply(init_weights)init_weights会被每个子模块调用一次，里面的isinstance判断决定当前子模块走哪条初始化规则。BatchNorm2d的γ设为1、β设为0，卷积权重用kaiming_normal_，偏置置零。
这个做法的好处是集中管理。改初始化策略时，只需要改init_weights一个函数，而不是去动每个层定义。我习惯把init_weights放在模型文件最上方，作为一个独立工具函数，修改时一目了然。
3.4 覆盖reset_parameters：进阶玩法
还有一种更“面向对象”的方式，就是重写你的自定义模块里的reset_parameters方法。PyTorch在每次创建模块时都会调用这个方法。以自定义一个MLP块为例：
import math import torch import torch.nn as nn class MyMLPBlock(nn.Module): def __init__(self, in_dim, out_dim): super().__init__() self.fc1 = nn.Linear(in_dim, out_dim) self.relu = nn.ReLU() def reset_parameters(self): nn.init.kaiming_uniform_(self.fc1.weight, a=math.sqrt(5)) nn.init.zeros_(self.fc1.bias) def forward(self, x): return self.relu(self.fc1(x))执行这个模块的实例化时，PyTorch会自动调用reset_parameters。如果你什么都不写，默认会调用父类nn.Module的reset_parameters，对新创建的层执行框架默认初始化。重写之后，就完全由你说了算。
我见过一些开源代码直接在__init__里初始化权重，不写reset_parameters。这有个小隐患：如果你后续想用model.apply重设整个模型的权重，而那些层又没有暴露apply能识别的结构，你的自定义层可能漏掉初始化。覆盖reset_parameters配合apply，是更规范的组合。
4. 初始化不当的典型症状与排查路径
前面讲了这么多原理，下面说说实际运行中最常遇到的问题。初始化的问题不会像语法错误那样直接抛异常，它往往通过loss曲线和梯度统计来表达不满。掌握这套“病理学”非常值钱。
4.1 从loss曲线形态判断初始化病情
我见过最常见的情况有三种，症状和“病因”对比如下：
| 症状 | 可能病因 | 解决方向 |
|---|---|---|
| loss初始值就是天文数字（比如MSE回归初始loss上万） | 输出层或隐藏层权重方差过大，前向输出爆炸 | 缩小初始标准差，检查是否有未初始化的自定义层 |
| loss从训练开始就完全不下降，平稳如直线 | 梯度消失或权重对称，信号传不到浅层 | 切换为与激活函数匹配的初始化方法 |
| loss初期剧烈震荡，像心电图一样极端波动 | 初始方差偏大，接近“混沌”状态 | 用Xavier/Kaiming的std或bound再减半 |
| 训练跑了十几个epoch后突然出现NaN | 初始化偏大叠加学习率偏高，训练中期梯度爆炸 | 降低学习率，暂时缩小权重初始化方差 |
其中“loss初始值就是天文数字”这条特别容易骗到新手。有人看到初始loss几万，第一反应是改学习率或者改模型结构，其实只要把最后一层权重初始化方差调小一点，loss立刻正常。
4.2 逐层梯度检查：快速定位是哪层出了问题
如果你怀疑初始化有问题，最直接的办法是打印每一层的梯度范数。PyTorch里可以用反向传播后的grad属性查看：
for name, param in model.named_parameters(): if param.grad is not None: grad_norm = param.grad.norm().item() if grad_norm < 1e-6: print(f"{name}: grad norm too small, {grad_norm:.2e}") elif grad_norm > 1e2: print(f"{name}: grad norm too large, {grad_norm:.2e}")把这段代码塞进训练循环里，跑一个step之后看结果。如果靠近输出层的参数梯度正常、靠近输入层的梯度极小，说明信号在反向传播途中“熄灭”了，典型的梯度消失，大概率是激活函数和初始化不匹配。
如果靠近输入层的梯度极大、靠近输出层的梯度正常，说明梯度在传播过程中被不断放大，这时应优先检查是否有层被初始化的方差过大，或者学习率是不是太高。
还有一个应该养成的好习惯：在第一次backward之后，顺手打印一下全模型的梯度范数总和：
total_grad_norm = sum(p.grad.norm().item() ** 2 for p in model.parameters() if p.grad is not None) ** 0.5 print(f"total grad norm: {total_grad_norm:.3f}")总梯度范数稳定在一个合理范围，比如个位数到几十，训练通常健康。如果这个值在1e-4以下或1e4以上，基本可以断定初始化或学习率配置有问题。
4.3 三个我踩过且容易复现的坑
先说第一个坑：在自定义模块里创建层时，忘了调用reset_parameters或做任何初始化。PyTorch对nn.Linear、nn.Conv这些内置层会自动初始化，但如果你继承autograd.Function或者手动创建Parameter，例如：
class MyLayer(nn.Module): def __init__(self, in_dim, out_dim): super().__init__() self.weight = nn.Parameter(torch.empty(in_dim, out_dim))然后忘了给weight赋值，这里面的内存数据就会是“未定义”的随机垃圾值，可能是天大的正数也可能是NaN。正确的做法是立刻做初始化：
nn.init.kaiming_uniform_(self.weight, a=math.sqrt(5))第二个坑：用了Xavier初始化配ReLU激活。深层网络里前向信号被ReLU不断砍半，后向梯度也跟着衰减，几十层之后几乎传不回去。典型表现就是深层CNN训练特别慢，浅层权重梯度几乎为零，我实际项目中栽过跟头，换Kaiming之后收敛速度天壤之别。
第三个坑：Transformer场景下不看输出方差，直接用Kaiming初始化整个模型。Transformer里的注意力层涉及矩阵乘法和softmax，Kaiming那套“为ReLU设计”的理论在这里并不完全适用。更合理的做法是配合更小的标准差（比如0.02），或者干脆依赖位置编码和LayerNorm的配合。前两年我调过一个小的Transformer，用Xavier初始化注意力权重，训练初期整个注意力分布全成了one-hot，loss疯狂震荡，改成0.02标准差后平稳了许多。这说明初始化不能脱离具体结构，选型不要死板。
提示：排查初始化问题的正确顺序是：先看初始loss是否处于合理区间，再看第一轮训练后的梯度范数是否健康，最后才调整学习率和优化器参数。别一上来就乱试超参数，那会同时掩盖多个问题。
5. 不同网络结构的初始化选型与实战心得
到了这一节，我想把实践中的经验汇总一下，给出可以直接抄作业的选型建议和几个心法。
5.1 初始化选型速查表
一个相对稳妥的参考配置如下：
| 网络结构 | 常用初始化 | 偏置/特殊处理 |
|---|---|---|
| MLP（ReLU） | kaiming_normal_，fan_in | bias=0 |
| MLP（tanh） | xavier_normal_或xavier_uniform_ | bias=0 |
| CNN（ReLU） | kaiming_normal_，fan_in | conv bias=0，BN γ=1 β=0 |
| LSTM/RNN | 正交初始化或xavier_uniform_ | 遗忘门bias偏大，如1.0 |
| Transformer | 各层标准差可取0.02或xavier_uniform_ | 需配合LayerNorm和warmup |
| 迁移学习微调 | 继承预训练参数，不对主干重置 | 新增分类头用较小随机值 |
这张表偏保守，但能保证你在大多数任务里起步不翻车。
这里多说一句迁移学习微调的场景。很多人从头训练一个在预训练模型基础上加分类头的网络时，会习惯性地调用model.apply把所有层重置一遍，结果把预训练权重全冲掉了。这是非常痛的教训。迁移学习的正确做法是：预训练主干保持不动，只在新增层上做温和的随机初始化。因为预训练权重已经蕴含了良好的特征表示，重新初始化等于毁掉这份资产。
5.2 初始化与学习率、正则化的联动关系
初始化从来不是一个孤立变量。我慢慢发现，它和学习率之间存在明显的“联席效应”：如果初始化方差偏大，即使学习率很小，训练过程也可能震荡；如果初始化方差偏小，又需要更大的学习率来弥补初期梯度过小的问题。
所以调整初始化的时候，要有意识地去配合学习率。我的习惯是：先锁定一种合理的初始化方法，再把学习率放在一个中间值（比如1e-3或3e-4），然后只动一个变量，确认效果后再动另一个。很多人喜欢同时改一堆超参数，到最后出了问题根本不知道是谁的锅。
初始化对正则化也有微妙的影响。权重初始方差越大，相当于模型一开始的“带宽”越宽，隐式的正则效果越强，但也更容易过拟合或产生梯度问题。设置初始化时心里要有这根弦，尤其在数据量不大的任务里，更倾向使用偏小的方差。
5.3 一些值得留意的细节习惯
我在实际工作中养成了几个和初始化相关的习惯，分享给大家。
建模型文件的时候，我会在旁边放一个自定义init_weights函数，把所有初始化规则集中在一起。不管模型最后搭成什么样，apply一遍就到位。
打印模型第一轮loss的时候，我会顺带打印一下各层输出的均值和标准差。如果某一层输出的std突然比其他层大两个数量级，说明那一层初始化或结构设计有问题，趁早看比等loss曲线半小时后再后悔强多了。
保存模型checkpoint的时候，把模型结构以及是否自定义过初始化一起写在配置文件里，省得几个月后自己看着权重文件发呆，不知道当时的初始化策略是什么。
最后，如果遇到实在折腾不明白的不收敛问题，不妨回到原点做一次“重新初始化+zéro学习率测试”：把学习率暂时设为0，跑一步看看loss是否确定。如果学习率为0时loss都不稳定，那基本就是前向传播或者初始化的问题，而不是优化器和反向传播的问题。这个排查顺序能帮你省下大量瞎猜的时间。
结尾
关于参数初始化这件事，我现在的态度是：它是整个训练流程里性价比最高的一环——改几行代码，就能避免几小时甚至几天的无效训练。刚入门的朋友一定要亲手打印几次权重分布，看看不同初始化方案下数据的量级差异；有经验的朋友则可以花点时间读一读Glorot和He的两篇经典论文，再回到PyTorch源码里对照一下默认实现，那种“原来如此”的顿悟感，是单纯调参给不了的。
如果这篇能帮你少走一次弯路，那我就没白写。下一篇我打算聊聊学习率调度和优化器选择的联动问题，那又是一个同样容易被低估的坑。
