梯度消失与梯度爆炸

梯度消失（Gradient Vanishing）和梯度爆炸（Gradient Explosion），这两个概念是深度神经网络训练中的核心问题，尤其在理解为什么某些网络结构难以训练时至关重要。

核心比喻：反向传播的“信号衰减/放大”

想象你在玩一个“传话游戏”，一句话要通过一个很长的队伍传下去。每个队员在传话时会小声复述，并可能有点失真。

• 梯度消失：每个队员都把声音压得更小一点，传到最后一个人时，声音几乎听不见了 →信号衰减到零。
• 梯度爆炸：每个队员都把声音放得更大一点，传到最后时变成了震耳欲聋的吼叫 →信号膨胀到无穷大。

在神经网络中，这个“传话”就是误差梯度从输出层向输入层的反向传播过程。

1. 梯度消失（Gradient Vanishing）

梯度消失是什么？

在反向传播过程中，梯度随着层数反向传递而指数级减小，导致前面层（靠近输入的层）的权重更新非常缓慢甚至停止更新。

为什么会发生？

根本原因：链式法则与激活函数的导数

反向传播使用链式法则计算梯度。对于深度网络，梯度是各层导数的乘积：
∂ L ∂ W 1 = ∂ L ∂ h n × ∂ h n ∂ h n − 1 × ⋯ × ∂ h 2 ∂ h 1 × ∂ h 1 ∂ W 1 \frac{\partial L}{\partial W_1} = \frac{\partial L}{\partial h_n} \times \frac{\partial h_n}{\partial h_{n-1}} \times \cdots \times \frac{\partial h_2}{\partial h_1} \times \frac{\partial h_1}{\partial W_1}∂W1​∂L​=∂hn​∂L​×∂hn−1​∂hn​​×⋯×∂h1​∂h2​​×∂W1​∂h1​​

如果每个∂ h i ∂ h i − 1 \frac{\partial h_i}{\partial h_{i-1}}∂hi−1​∂hi​​都小于1（典型情况），那么它们的乘积会指数级减小。

典型场景：

• 使用Sigmoid或Tanh激活函数
  • Sigmoid 导数：σ ′ ( x ) ∈ ( 0 , 0.25 ] \sigma'(x) \in (0, 0.25]σ′(x)∈(0,0.25]，最大值只有0.25
  • Tanh 导数：tanh ⁡ ′ ( x ) ∈ ( 0 , 1 ] \tanh'(x) \in (0, 1]tanh′(x)∈(0,1]，但通常也较小
  • 几个这样的导数连乘后，梯度迅速趋近于0

后果

• 浅层网络的权重几乎不更新（“学不到东西”）
• 训练早期就陷入停滞，损失下降很慢
• 网络实际上只有后面几层在学习，深度优势丧失

例子
假设一个10层网络，每层Sigmoid的梯度约为0.25：
梯度到第一层 ≈ ( 0.25 ) 10 ≈ 9.5 × 1 0 − 7 （几乎为零！） \text{梯度到第一层} \approx (0.25)^{10} \approx 9.5 \times 10^{-7} \quad \text{（几乎为零！）}梯度到第一层≈(0.25)10≈9.5×10−7（几乎为零！）

2. 梯度爆炸（Gradient Explosion）

梯度爆炸是什么？

与梯度消失相反，梯度在反向传播过程中指数级增大，导致权重更新量过大，网络变得不稳定。

为什么会发生？
同样是链式法则，但这次每个∂ h i ∂ h i − 1 \frac{\partial h_i}{\partial h_{i-1}}∂hi−1​∂hi​​都大于1。

常见原因：

1. 权重初始化过大：如果权重矩阵W WW的范数大于1，且激活函数导数不太小（如R e L U ReLUReLU导数为1）
   ∂ h i ∂ h i − 1 ∝ W i × 激活函数导数 \frac{\partial h_i}{\partial h_{i-1}} \propto W_i \times \text{激活函数导数}∂hi−1​∂hi​​∝Wi​×激活函数导数
   如果∥ W i ∣ ∣ > 1 \|W_i|| > 1∥Wi​∣∣>1，连乘后梯度爆炸

2. 深度网络+不合适的激活函数：某些情况下即使权重正常，深度累积也会导致爆炸

后果

1. 权重值变成NaN（Not a Number）：更新步长过大导致数值溢出
2. 损失剧烈震荡：不收敛，甚至发散
3. 权重变得极大：模型完全失效

例子
假设权重矩阵使每层梯度放大1.5倍，一共十层：
梯度到第一层 ≈ ( 1.5 ) 10 ≈ 57.7 （指数增长！） 梯度到第一层 ≈ (1.5)^{10} ≈ 57.7 \text{（指数增长！）}梯度到第一层≈(1.5)10≈57.7（指数增长！）
实际梯度可能被放大成千上万倍。

3. 梯度消失与梯度爆炸对比表格

特点	梯度消失	梯度爆炸
根本原因	梯度连乘积< 1	梯度连乘积> 1
数值表现	梯度 → 0	梯度 → ∞（或极大值）
训练现象	损失几乎不下降	损失剧烈震荡/NaN
权重表现	前面层权重几乎不变	权重值极大/溢出
常见场景	Sigmoid/Tanh + 深度网络	权重初始化太大 + 深度网络
网络效应	只有后面层学习	完全无法学习

4. 解决方案

缓解梯度消失：

1. 使用更好的激活函数

   • ReLU及其变种（L e a k y R e L U , E L U , S E L U Leaky ReLU, ELU, SELULeakyReLU,ELU,SELU）：导数为1或常数，不会衰减
   • Swish：x ⋅ σ ( x ) x \cdot \sigma(x)x⋅σ(x)，梯度特性更好

2. 改进网络结构

   • 残差连接（ResNet）：跳跃连接让梯度可以直接“短路”传递
   • LSTM/GRU门控机制：解决RNN中的梯度消失

3. 合适的初始化

   • He初始化（配合ReLU）
   • Xavier/Glorot初始化（配合Sigmoid/Tanh）

4. 批量归一化（BatchNorm）

   • 稳定激活值分布，间接改善梯度流动

缓解梯度爆炸：

1. 梯度裁剪（Gradient Clipping）

   • 设定阈值，当梯度范数超过时进行缩放
   • 常用于RNN/LSTM

   torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm=1.0)

2. 权重正则化

   • L2正则化防止权重过大

3. 合适的初始化

   • 确保初始权重不会太大

4. 降低学习率

   • 但可能训练过慢

---

5. 实际例子

梯度消失实例（RNN中常见）

处理长序列时，早期的信息“被遗忘”，因为梯度传不到那么远的时间步。

梯度爆炸实例（训练LSTM时）

如果没有梯度裁剪，可能在几次迭代后损失突然变成NaN。

6. 现代深度学习的现状

随着以下技术的普及，这些问题已得到很大缓解：

• ReLU族激活函数基本解决了前馈网络的梯度消失
• 残差连接让极深网络（如1000层）可训练
• 批量归一化稳定训练过程
• 梯度裁剪简单有效地防止爆炸

但它们在特定场景下仍然需要注意：

• 非常深的Transformer模型（如1000层）仍有梯度问题
• RNN处理极长序列时
• GAN训练中的不稳定梯度

关键要点

1. 梯度消失和爆炸是同一问题的两个极端：都是深度网络链式法则的数值稳定性问题。
2. 激活函数是关键：S i g m o i d / T a n h Sigmoid/TanhSigmoid/Tanh容易消失，R e L U ReLUReLU在正区间不会消失但可能爆炸。
3. 现代架构设计（残差、门控、归一化）本质上都在改善梯度流动。
4. 监控梯度范数是诊断这些问题的好方法。

理解这两个概念是掌握深度神经网络训练动态的基础，也是设计新网络结构时需要考虑的核心问题之一。