深入解析 D2L 中的 RMSProp 优化算法：从 Adagrad 缺陷到泄漏平均的自适应学习率-平芜编程栈

文档
教程
人工智能
深度学习
NLP
计算机视觉
强化学习

【免费下载链接】d2l-en

Interactive deep learning book with multi-framework code, math, and discussions. Adopted at 500 universities from 70 countries including Stanford, MIT, Harvard, and Cambridge.

项目地址：https://gitcode.com/gh_mirrors/d2/d2l-en

点击查看免费下载

RMSProp 是《动手学深度学习》（D2L，d2l-en 仓库）优化章节中承上启下的关键算法，它用指数泄漏平均取代 Adagrad 无界累积的梯度平方，将"按坐标自适应缩放"与"学习率调度"彻底解耦，是非凸深度神经网络训练中广泛使用的基础优化器。读完本文，你将掌握 RMSProp 的数学推导、泄漏平均权重几何、从零实现与框架内置 API 的完整用法，以及gamma超参数对收敛行为的真实影响。

为什么需要 RMSProp：Adagrad 的致命短板

在讨论 RMSProp 之前，需要回顾 Adagrad 的核心机制。Adagrad 用梯度平方的累积量作为 Hessian 对角线的廉价代理（见 Adagrad 章节），其更新规则为：

$$\begin{aligned} \mathbf{g}t & = \partial{\mathbf{w}} l(y_t, f(\mathbf{x}_t, \mathbf{w})), \ \mathbf{s}t & = \mathbf{s}{t-1} + \mathbf{g}_t^2, \ \mathbf{w}t & = \mathbf{w}{t-1} - \frac{\eta}{\sqrt{\mathbf{s}_t + \epsilon}} \cdot \mathbf{g}_t. \end{aligned}$$

Adagrad 的核心问题在于状态向量 $\mathbf{s}t = \mathbf{s}{t-1} + \mathbf{g}_t^2$ 是无界累积：由于缺乏归一化，$\mathbf{s}_t$ 会随着训练不断增长（在算法收敛阶段近似线性增长），导致有效学习率按照预设的 $\mathcal{O}(t^{-\frac{1}{2}})$ 速率持续衰减。

这种预设衰减对凸优化问题通常是合适的，但对深度学习遇到的非凸问题并不理想——训练后期学习率可能衰减得过快，参数几乎停止移动。然而，Adagrad 的**逐坐标自适应能力（preconditioner）**又极具吸引力，因为它天然地对梯度幅度大的坐标施加更强的缩放，无需人为判断阈值。

一个朴素的修复思路是用 $\mathbf{s}_t / t$ 做归一化：对分布合理的 $\mathbf{g}_t$，这确实会收敛，但问题在于算法"记住了完整的轨迹"，极限行为要很久才开始起作用。更好的替代方案是借用动量方法中已经验证有效的**泄漏平均（leaky average）**技巧。

算法核心：用泄漏平均替换无界累积

Tieleman 与 Hinton 在 2012 年提出的 RMSProp 只做了一处关键改动：把 Adagrad 的累加式更新换成指数加权滑动平均：

$$\begin{aligned} \mathbf{s}t & \leftarrow \gamma \mathbf{s}{t-1} + (1 - \gamma) \mathbf{g}_t^2, \ \mathbf{x}t & \leftarrow \mathbf{x}{t-1} - \frac{\eta}{\sqrt{\mathbf{s}_t + \epsilon}} \odot \mathbf{g}_t. \end{aligned}$$

其中 $\gamma > 0$ 是衰减系数（D2L 文本默认使用 0.9），$\epsilon > 0$ 通常取 $10^{-6}$，用于避免除零或过大的步长。展开 $\mathbf{s}_t$ 的递推定义可以看到，它本质上是对历史梯度平方的加权和：

$$ \begin{aligned} \mathbf{s}t & = (1 - \gamma) \mathbf{g}t^2 + \gamma \mathbf{s}{t-1} \ & = (1 - \gamma) \left(\mathbf{g}t^2 + \gamma \mathbf{g}{t-1}^2 + \gamma^2 \mathbf{g}{t-2}^2 + \ldots \right). \end{aligned} $$

利用几何级数求和 $1 + \gamma + \gamma^2 + \ldots = \frac{1}{1-\gamma}$，所有权重被归一化为 1，且单个观测的"半衰期"为 $\gamma^{-1}$ 步。这意味着：

$\gamma$ 越大，历史窗口越长，$\mathbf{s}_t$ 对近期梯度的反应越平缓；
$\gamma$ 越小，$\mathbf{s}_t$ 越快地追随最新梯度平方。

与 Momentum 章节中用泄漏平均平滑梯度本身（$\mathbf{v}_t$）不同，RMSProp 用泄漏平均平滑的是梯度平方（$\mathbf{s}_t$），目的是获得稳定的逐坐标缩放因子。

泄漏平均权重可视化

D2L 用一段简短的绘图代码直观展示不同 $\gamma$ 下过去 40 步的权重分布。代码中(1-gamma) * gamma ** x正是上述展开式中第 $x$ 个历史项对应的权重系数：

#@tab mxnet %matplotlib inline from d2l import mxnet as d2l import math from mxnet import np, npx npx.set_np()

#@tab pytorch from d2l import torch as d2l import torch import math

#@tab tensorflow from d2l import tensorflow as d2l import tensorflow as tf import math

#@tab all d2l.set_figsize() gammas = [0.95, 0.9, 0.8, 0.7] for gamma in gammas: x = d2l.numpy(d2l.arange(40)) d2l.plt.plot(x, (1-gamma) * gamma ** x, label=f'gamma = {gamma:.2f}') d2l.plt.xlabel('time');

运行后可见：$\gamma = 0.95$ 的曲线衰减最缓慢，意味着更久远的梯度平方仍在影响当前缩放；$\gamma = 0.7$ 则几乎只关注最近几步。这也印证了文档总结中的结论——$\gamma$ 直接决定了调整逐坐标尺度时"历史有多长"。

从零实现：二维轨迹对比实验

D2L 沿用与 Adagrad 相同的二次函数 $f(\mathbf{x}) = 0.1x_1^2 + 2x_2^2$ 来观察 RMSProp 的轨迹。回忆 Adagrad 章节的实验：学习率 0.4 时，由于累积导致学习率后期衰减过快，变量在后期移动得非常缓慢；而 RMSProp 中 $\eta$ 与逐坐标缩放相互独立，不会出现这一现象。

#@tab all def rmsprop_2d(x1, x2, s1, s2): g1, g2, eps = 0.2 * x1, 4 * x2, 1e-6 s1 = gamma * s1 + (1 - gamma) * g1 ** 2 s2 = gamma * s2 + (1 - gamma) * g2 ** 2 x1 -= eta / math.sqrt(s1 + eps) * g1 x2 -= eta / math.sqrt(s2 + eps) * g2 return x1, x2, s1, s2 def f_2d(x1, x2): return 0.1 * x1 ** 2 + 2 * x2 ** 2 eta, gamma = 0.4, 0.9 d2l.show_trace_2d(f_2d, d2l.train_2d(rmsprop_2d))

这里的train_2d与show_trace_2d定义在 d2l/torch.py（各框架实现一致）：train_2d从 $(-5, -2)$ 出发迭代 20 步，s1、s2作为优化器内部状态贯穿全程；show_trace_2d负责绘制等高线与橙色轨迹点。注意rmsprop_2d中gamma、eta均为全局变量，与 Adagrad 版本唯一的差异就是把s1 += g1 ** 2换成了s1 = gamma * s1 + (1 - gamma) * g1 ** 2——这正是 RMSProp 的全部改动。

从零实现：深度网络的 RMSProp

接下来把 RMSProp 接入真实深度网络训练。首先初始化状态：每个参数维护一个与其形状相同的梯度平方滑动平均缓冲（TensorFlow 因tf.Variable语义需显式构造变量）：

#@tab mxnet,pytorch def init_rmsprop_states(feature_dim): s_w = d2l.zeros((feature_dim, 1)) s_b = d2l.zeros(1) return (s_w, s_b)

#@tab tensorflow def init_rmsprop_states(feature_dim): s_w = tf.Variable(d2l.zeros((feature_dim, 1))) s_b = tf.Variable(d2l.zeros(1)) return (s_w, s_b)

更新函数依次完成"更新滑动平均"与"按缩放后的步长更新参数"两步，eps固定为1e-6：

#@tab mxnet def rmsprop(params, states, hyperparams): gamma, eps = hyperparams['gamma'], 1e-6 for p, s in zip(params, states): s[:] = gamma * s + (1 - gamma) * np.square(p.grad) p[:] -= hyperparams['lr'] * p.grad / np.sqrt(s + eps)

#@tab pytorch def rmsprop(params, states, hyperparams): gamma, eps = hyperparams['gamma'], 1e-6 for p, s in zip(params, states): with torch.no_grad(): s[:] = gamma * s + (1 - gamma) * torch.square(p.grad) p[:] -= hyperparams['lr'] * p.grad / torch.sqrt(s + eps) p.grad.data.zero_()

#@tab tensorflow def rmsprop(params, grads, states, hyperparams): gamma, eps = hyperparams['gamma'], 1e-6 for p, s, g in zip(params, states, grads): s[:].assign(gamma * s + (1 - gamma) * tf.math.square(g)) p[:].assign(p - hyperparams['lr'] * g / tf.math.sqrt(s + eps))

D2L 设置初始学习率 0.01、$\gamma$ 为 0.9，即 $\mathbf{s}$ 平均了最近约 $1/(1-\gamma) = 10$ 步的梯度平方观测：

#@tab all data_iter, feature_dim = d2l.get_data_ch11(batch_size=10) d2l.train_ch11(rmsprop, init_rmsprop_states(feature_dim), {'lr': 0.01, 'gamma': 0.9}, data_iter, feature_dim);

这里使用的数据与训练框架来自仓库的公共工具函数：get_data_ch11（见 d2l/torch.py）下载并标准化 UCI 的 airfoil 自噪声数据集，取前 1500 个样本、按 batch_size=10 组织成迭代器，返回特征维度；train_ch11（见 d2l/torch.py）初始化服从 $\mathcal{N}(0, 0.01^2)$ 的权重、用平方损失训练 2 个 epoch，并逐批调用传入的rmsprop更新函数，同时通过 Animator 记录损失曲线。值得注意的是，PyTorch 版本在更新后调用p.grad.data.zero_()手动清空梯度，这正是从零实现版本需要自行管理的细节，而框架内置优化器会自动处理。

简洁实现：三框架内置 RMSProp

由于 RMSProp 非常流行，主流框架均内置了现成实现，D2L 通过统一的train_concise_ch11接口直接调用，只需一行配置即可完成训练。train_concise_ch11（见 d2l/torch.py）内部构造单隐藏层线性网络nn.Linear(5, 1)、用nn.MSELoss配合优化器进行同样的 4 个 epoch 训练，屏蔽了手工维护状态的繁琐细节。

#@tab mxnet d2l.train_concise_ch11('rmsprop', {'learning_rate': 0.01, 'gamma1': 0.9}, data_iter)

#@tab pytorch trainer = torch.optim.RMSprop d2l.train_concise_ch11(trainer, {'lr': 0.01, 'alpha': 0.9}, data_iter)

#@tab tensorflow trainer = tf.keras.optimizers.RMSprop d2l.train_concise_ch11(trainer, {'learning_rate': 0.01, 'rho': 0.9}, data_iter)

从框架 API 的差异中可以看出三个要点：

参数名不同但语义一致：MXNet 的gamma1、PyTorch 的alpha、TensorFlow 的rho在各自内部都对应算法推导中的衰减系数 $\gamma$；
默认值偏好：三者本例均显式传入 0.9；PyTorch 的torch.optim.RMSprop默认alpha=0.99，与 D2L 演示的 0.9 不同，实践中需要注意按需覆盖；
调用方式差异：PyTorch 与 TensorFlow 传入的是优化器类本身，MXNet 传入的是Trainer支持的算法名字符串，这在 d2l/mxnet.py 的train_concise_ch11中通过Trainer(net.collect_params(), tr_name, hyperparams)解析。

小结

RMSProp 站在 Adagrad 与 Momentum 的交汇点上，其要点可以归纳为：

RMSProp 与 Adagrad 非常相似，两者都用梯度平方来缩放各系数，但 RMSProp 用泄漏平均阻止了缩放因子的无限增长；
RMSProp 与 Momentum 共享泄漏平均技术，但用途不同：Momentum 用它平滑梯度本身，RMSProp 用它调节逐坐标的预条件子（preconditioner）；
由于缩放与学习率解耦，$\eta$ 需要由实验者在实际训练中自行调度（这正是本章 lr-scheduler 章节的用武之地）；
系数 $\gamma$ 决定了调整逐坐标尺度时历史窗口的长度，直接控制自适应缩放的"记忆"。

此外，从仓库后续章节可以看到 RMSProp 的影响力：Adadelta 正是从"消除学习率超参数"的角度进一步改造 RMSProp（见 Adadelta 章节），而 Adam 则在此基础上再加入一阶矩的动量估计（见 Adam 章节），形成了完整的技术演进脉络。全部优化算法在优化章节索引中按序编排。

思考与实验

如果设置 $\gamma = 1$ 会发生什么？为什么？（提示：代入更新公式观察 $\mathbf{s}_t$ 的递推是否还包含当前梯度信息，并对照 Adagrad 的累积行为。）
将优化目标旋转为 $f(\mathbf{x}) = 0.1 (x_1 + x_2)^2 + 2 (x_1 - x_2)^2$，收敛性会发生什么变化？
在真实机器学习任务（如 Fashion-MNIST）上运行 RMSProp，尝试不同的学习率调度策略，观察对收敛曲线的影响。
是否应该随着优化进程动态调整 $\gamma$？RMSProp 对 $\gamma$ 的敏感程度如何？可以结合上面"泄漏平均权重可视化"代码中不同 $\gamma$ 曲线差异来设计实验验证。

文档
教程
人工智能
深度学习
NLP
计算机视觉
强化学习

【免费下载链接】d2l-en

Interactive deep learning book with multi-framework code, math, and discussions. Adopted at 500 universities from 70 countries including Stanford, MIT, Harvard, and Cambridge.

项目地址：https://gitcode.com/gh_mirrors/d2/d2l-en

点击查看免费下载