1. 从SGD到Nadam：优化器的进化逻辑
十年前我刚入行深度学习时，SGD（随机梯度下降）几乎是所有论文的标配优化器。但当我用SGD训练一个简单的图像分类网络时，发现模型在验证集上的准确率像过山车一样剧烈波动。这个现象引出了优化器发展的核心命题：如何让参数更新更稳定、更高效？
传统SGD就像蒙眼走路的人——每步只根据当前位置的坡度决定方向和步长。这种简单粗暴的方式会导致三个典型问题：
- 在平坦区域（梯度小）移动太慢
- 在陡峭峡谷（梯度方向差异大）反复震荡
- 遇到鞍点（某些维度梯度为0）直接卡住
2012年Hinton团队在ImageNet竞赛中使用的动量法（Momentum），首次给优化过程加入了"惯性思维"。我在复现AlexNet时实测发现，加入0.9的动量系数后，训练epoch减少30%仍能达到相同准确率。这背后的数学本质是指数加权移动平均，让历史梯度参与当前决策：
# 动量法核心实现 velocity = momentum * velocity - lr * gradient param += velocity2. 自适应学习率革命
2.1 Adagrad的突破与局限
2011年出现的Adagrad让我第一次见识到"参数独享学习率"的威力。在自然语言处理任务中，词向量的更新频率差异极大：高频词（如"的"）需要小步幅精细调整，低频词（如"量子"）需要大步幅快速收敛。Adagrad通过累积梯度平方和实现这一点：
cache += gradient**2 param -= lr * gradient / (np.sqrt(cache) + 1e-7)但在训练推荐系统时，我发现随着cache的持续增大，后期更新几乎停滞。这促使了Adadelta和RMSprop的诞生——用滑动平均替代累加。有趣的是，这两个方法独立提出却殊途同归，都采用了衰减系数γ（通常取0.9）来控制历史信息的影响程度。
2.2 Adam的王者时代
2014年Adam的横空出世，就像给优化器装上了"双引擎"：
- 一阶动量（梯度均值）解决方向震荡问题
- 二阶动量（梯度方差）解决步长适应问题
我在Kaggle比赛中的对比实验显示，Adam相比RMSprop训练速度提升20%，尤其适合以下场景：
- 参数尺度差异大的网络（如Transformer）
- 稀疏梯度任务（如GAN生成）
- 超参数敏感型模型
但Adam也有暗坑。去年调试一个3D分割模型时，发现验证集指标周期性跳水。排查发现是β2=0.999导致二阶动量更新太慢，改为0.99后问题解决。这引出了Adam的改进版——AMSGrad，通过保持历史最大方差来避免收敛失败。
3. Nesterov与自适应的完美结合
3.1 NAG的预见性更新
Nesterov加速梯度（NAG）的聪明之处在于"向前看一步"。想象你要接飞盘：
- 普通动量：根据当前速度直线跑向预测落点
- NAG：先按当前速度跑半步，观察飞盘新轨迹再调整
在BERT微调任务中，NAG相比基础动量法获得1.2%的准确率提升。其数学实现只需改动一行代码：
lookahead_param = param + momentum * velocity gradient = compute_gradient(lookahead_param)3.2 Nadam的终极形态
Nadam=Adam+NAG，这个组合我在目标检测任务中实测mAP提升0.8%。其关键创新是双重动量修正：
- 对一阶动量应用NAG思想
- 对二阶动量保持Adam特性
公式中的μ_t（偏置修正系数）常被忽视，但在训练初期（t<100步）作用显著。有次我忘记实现修正项，导致模型前10个batch的loss下降慢了3倍。
4. 优化器选择实战指南
经过上百次实验，我总结的选型策略如下表：
| 场景 | 推荐优化器 | 典型参数设置 | 注意事项 |
|---|---|---|---|
| 小规模数据集 | SGD+Momentum | lr=0.01, β=0.9 | 配合学习率衰减使用 |
| 超深网络（ResNet152） | AdamW | β1=0.9, β2=0.999 | 权重衰减设为0.01 |
| 语音识别 | Nadam | lr=0.002 | 配合梯度裁剪 |
| 强化学习 | RMSprop | lr=0.0005, γ=0.99 | 禁用中心化梯度 |
最近在调试Vision Transformer时发现，Lion优化器（2023年新提出）在batch size>2048时表现惊艳。其采用符号函数压缩更新量，类似这样：
update = sign(β1*momentum + (1-β1)*gradient) param -= lr * update优化器的发展远未停止。上周读论文时看到Sophia算法开始引入曲率信息，或许下一代优化器会融合二阶导数的智慧。不过作为工程师，我的经验是：与其追逐最新算法，不如先把手头的Adam调好——95%的情况下，它已经足够优秀。
