接触深度学习这几年，我被问到最多的一个问题不是"模型怎么设计"，而是"模型怎么优化"。大家习惯把优化器当成一个固定插件——训练时无脑选Adam，部署时再想办法压缩一下，完事。但实际项目做多了你会发现，"Model-Optimizer"这条线其实贯穿了从训练到落地的全过程，任何一个环节没处理好，前面投入的时间成本都可能打水漂。
我今天想聊的，不求把理论公式堆满，也不是某个框架的官方文档搬运。就是单纯以一个在一线调模型的人的视角，把模型优化的完整路径拆开来看：训练阶段的优化器到底怎么选、参数怎么配，推理阶段的量化、剪枝、蒸馏到底怎么做才能不掉点，以及中间那些文档里从来不会写清楚的坑。无论你是正在写毕业论文的在校生，还是刚入门算法岗的初级工程师，希望这篇能给你省下几周的试错时间。
1. 先搞清楚你在优化谁：训练优化器和推理优化器是两码事
很多人一听"Model-Optimizer"就觉得是个单一工具，其实这个词在工程语境下包含两个完全不同的战场。弄混这两个概念，是后面所有问题的最初根源。
1.1 训练阶段优化器：梯度下降里的"方向盘"
训练阶段的优化器，本质上是神经网络的参数更新策略。网络通过前向传播算出损失，然后反向传播算出每个参数的梯度，优化器则决定"参数沿着梯度方向走多远、怎么走"。这个过程很像你开车：梯度是前方道路的指示牌，学习率是你踩油门的力度，而优化器就是方向盘加油门的一套协同控制系统。
SGD是最原始的模式，只看当前时刻的梯度，方向偏了也不管，直来直去；Momentum加入了惯性，像下坡的车一样，即使当前坡度变缓也能借助历史动量冲过去，减少震荡；RMSProp对每个参数单独调节步长，哪个方向梯度大就自动放缓；Adam则把Momentum的惯性和RMSProp的自适应步长结合在一起，堪称"自动驾驶"。这些差异直接影响了收敛速度、最终精度和训练稳定性，所以选优化器从来不是拍脑袋的事。
1.2 推理阶段优化器：让模型更轻、更快、更能部署
训练完成后，模型要从实验室走向生产环境，这时候面临的是另一类问题：模型文件太大，服务器放不下；推理延迟太高，业务等不及；显存占用过多，成本翻倍。推理阶段的"优化器"指的是各种模型压缩与加速手段，主要包括量化（把FP32权重变成INT8甚至更低精度）、剪枝（剔除冗余权重或通道）、知识蒸馏（用大模型指导小模型学习）。
这两个阶段的目标截然不同：训练优化器追求的是让loss更低、验证精度更高；推理优化器追求的是在精度损失可控的前提下去掉冗余计算，让模型跑得更快、体积更小。同样叫"优化"，对象和思路完全是两套体系。
1.3 为什么很多人容易把两者混为一谈
我见过不少新人同事在交流时说"这个模型我用了Adam优化器优化过了"，实际指的是训练时的优化算法；转头到了部署环节，又说"把模型优化一下"，其实是要做量化压缩。因为中文"优化"一词的覆盖面太广，导致同一句话在不同场景下可能指代完全不同的操作。如果不先建立这个区分，后边的工具选择、参数调整、效果评估都会跟着跑偏。
| 对比维度 | 训练优化器 | 推理优化器 |
|---|---|---|
| 作用对象 | 模型参数更新过程 | 训练好的模型文件 |
| 核心目标 | 降低loss、提高精度 | 减小体积、降低延迟 |
| 典型手段 | SGD、Adam、AdamW | 量化、剪枝、蒸馏 |
| 生效时机 | 训练过程中 | 训练完成后、部署前 |
| 效果评估 | 收敛曲线、验证集指标 | 精度差、推理耗时、模型体积 |
2. 训练优化器选型实战：SGD、Adam、AdamW到底怎么选
训练阶段的优化器选型，是我见过最多"玄学操作"的地方。有人从头到尾只用Adam，有人听说SGD泛化好就无脑换SGD，还有人把学习率设成固定值跑完整个训练周期。这里面的门道其实是有规律可循的。
2.1 五大主流优化器的原理与性格差异
我用最接地气的方式梳理一下这些优化器的"性格"。
SGD纯随机梯度下降是优化器界的"原教旨主义者"。它在每个step都独立计算梯度并沿反方向更新参数，不引入任何历史信息。优点是显存占用低、通用性强，配合得当能收敛到相当好的泛化结果；缺点是收敛速度慢、对学习率极其敏感、在损失面崎岖的地方容易震荡。
Momentum在SGD基础上增加了一个速度变量，相当于给参数更新加了"惯性"。前几步的梯度方向会持续影响当前更新，这样可以冲过局部极小值附近的平坦区域，也能有效抑制在峡谷形损失面上的反复横跳。实践中我建议的默认配置是momentum=0.9，这个值在大多数CV任务上都是稳定表现。
RMSProp引入了一个每个参数独立的自适应学习率机制。它用梯度平方的滑动平均来归一化更新步长，梯度大的参数自动变小步长，梯度小的参数自动变大步长。这样处理稀疏特征特别好用，比如embedding层的参数更新频率差异很大，RMSProp能自动平衡更新幅度。
Adam是Momentum和RMSProp的合体，既有一阶动量作为"惯性"，又有二阶动量作为"自适应步长"，同时加了偏差修正解决训练初期的冷启动问题。它几乎不需要手动调节太多，就能在大部分任务上快速收敛，这也是它被称为"默认优化器"的原因。但Adam踩了一个坑：它没有真正的权重衰减，L2正则项在它的更新框架里会被自适应学习率扭曲。
AdamW则纠正了Adam里L2正则和权重衰减混淆的问题。权重衰减直接作用在参数本身上，而不是依赖梯度传播后再缩放，这在Transformer类模型上被证明尤其关键。现在BERT、GPT这些预训练模型，几乎无一例外都在用AdamW，配合warmup和cosine learning rate schedule，训练稳定性和最终效果都明显优于原始Adam。
| 优化器 | 核心机制 | 优势 | 短板 | 典型战场 |
|---|---|---|---|---|
| SGD | 纯梯度下降 | 显存低、通用性强 | 收敛慢、依赖lr设置 | 小型数据集、经典CV |
| Momentum | SGD+惯性 | 收敛稳定、能穿越局部极值 | 仍需精细调lr | 大部分CV分类任务 |
| RMSProp | 逐参数自适应步长 | 处理稀疏梯度优秀 | 泛化边界需验证 | Embedding、RNN |
| Adam | 一阶+二阶动量 | 收敛快、免调参 | 泛化弱于SGD、权重衰减错误 | NLP、GAN、通用基线 |
| AdamW | Adam+正确权重衰减 | 训练稳定、泛化更好 | 参数略多 | Transformer、预训练模型 |
2.2 不同任务下的选型建议
根据我自己跑过的多个项目，优化器选型其实可以总结成几条比较实用的经验规则。
图像分类、目标检测这类CV任务，SGD+Momentum依然是性价比很高的组合。很多人觉得SGD老土，但实测下来在ImageNet级别数据上，SGD的泛化能力往往强于Adam类优化器。配合0.9的momentum、适当的weight decay以及cosine learning rate schedule，最终精度通常不错。我自己在CIFAR-10上做过反复对比，同样的ResNet-50结构，SGD+Momentum收敛后的测试集精度比Adam高0.3到0.5个百分点，这在分类任务上已经是明显差距了。
NLP和Transformer架构的任务，直接选AdamW，不要犹豫。在这些任务里，embedding层参数非常多且更新稀疏，自适应学习率机制能显著加速收敛。同时，权重衰减的正确实现方式对预训练效果影响很大。我见过很多人在微调BERT时用了普通Adam，导致训练过程中loss下不去，换成AdamW之后很快恢复正常，说明这个区别不是理论上的吹毛求疵，而是切切实实的工程影响。
目标检测、实例分割这类多任务模型，如果是加载ImageNet或COCO预训练权重来做微调，我用下来效果比较稳的组合是：优化器选SGD+Momentum，batch size不超过16的时候初始学习率设0.02，按线性缩放规则调整。如果是从头开始训练，或者数据分布与预训练数据差异很大，用AdamW反而更稳，因为它对学习率的敏感度低，不需要反复试lr。
2.3 学习率、权重衰减、batch size的配合经验
优化器不是孤立存在的，学习率、权重衰减、batch size这几个参数必须当成一个整体来调配。
先说学习率。我习惯的做法是先设一个略大的初始值，比如SGD配0.1到0.3，AdamW配1e-4到3e-4，然后跑几十个step看loss的下降曲线。loss在没有明显震荡的前提下稳步下降，说明这个lr踩对了区间；如果loss剧烈跳动，就调低lr约一个数量级；如果loss几乎不动，就适当调高。这个判定方法比任何理论计算都直接。
再说权重衰减。SGD+Momentum下weight decay通常设1e-4到5e-4，AdamW下建议5e-2到1e-1附近。为什么AdamW的weight decay数值看起来这么大？因为AdamW中的weight decay是直接乘在参数上，而不是像L2正则那样需要经过梯度计算。单位不同、作用方式不同，所以经验数值完全不同。如果你把AdamW的weight decay设成1e-4，基本等于没设，模型过拟合的风险会明显上升。
最后说batch size与学习率的联动。我用的是简单的线性缩放规则：batch size从256变成512，学习率相应乘2。同时，扩大batch size后需要对warmup步数做相应调整，因为优化器的动量统计量会因batch size变化而要重新积累。我踩过一次坑，把batch size翻倍后忘记改lr，模型直接不收敛，这个教训非常深刻。
3. 推理优化三板斧：量化、剪枝、蒸馏的实操思路
模型训好后，真正的战斗才刚刚开始。我见过太多项目死在部署环节：精度98%的模型，量化后只剩89%；剪枝后网络直接不work；蒸馏出来的小模型学到的全是噪声。这一节把推理优化的三板斧逐一拆开。
3.1 量化：从FP32到INT8，精度与速度的平衡艺术
量化是推理优化里见效最快的手段。原理很简单：把模型参数和中间激活从32位浮点数压缩到8位整数，计算量直接下降约4倍，模型体积也同步缩小。但难点在于，压缩过程会带来精度损失，怎么把损失控制在可接受范围内，是个需要经验的活。
量化有两种主流路径。第一种是训练后量化（Post-Training Quantization，PTQ），直接在训练好的模型上做转换，不需要重新训练，只需要准备一小批校准数据来统计激活值的分布范围。第二种是量化感知训练（Quantization-Aware Training，QAT），在训练过程中就模拟量化误差，让网络权重适应低精度表示，精度损失通常更小，但需要重新训练模型，成本高出不少。
我的建议是：如果模型部署平台是TensorRT或者移动端推理框架，优先尝试PTQ。操作上可以用PyTorch自带的量化工具实现，核心逻辑就是把模型的权重和激活量化的scale和zero_point计算出来，用校准数据跑几次前向推理来收集统计量。校准数据集的选择非常关键，必须覆盖真实推理场景中的数据分布，我见过有人用训练集做校准，上线后遇到分布偏移的新数据，精度直接崩掉。
如果PTQ之后精度损失依然大于1%，再考虑QAT。QAT的本质是在训练中启用fake_quant模块，让参数能够感知量化误差。代价是训练时长增加20%到50%，而且训练超参可能需要重新调整，但精度恢复效果通常显著。我在一个目标检测项目里做过对比：PTQ让mAP从0.72掉到0.64，QAT重新训练20个epoch后mAP恢复到0.70，差距非常明显。
3.2 剪枝：把不重要的权重剔除出去
剪枝的思路更直接：模型的参数矩阵是稀疏的，很多权重接近零，对预测结果几乎没有贡献，把它们剔除就能减少计算量。
剪枝分为非结构化剪枝和结构化剪枝。非结构化剪枝是把细粒度的权重置零，保留原有网络结构，但因为产生的是不规则稀疏矩阵，除非底层的稀疏计算库做得好，否则推理速度提升有限。结构化剪枝则直接删掉整个卷积核或通道，网络结构本身变窄，无论用什么推理框架都能稳定提速。
实操上，剪枝的关键是确定剪枝率和剪枝后的微调策略。剪枝率太低没效果，太高会伤筋动骨。我的经验是先从30%开始，逐层观察敏感度，有些层可以剪掉60%，有些层剪10%就明显掉点。可以用每个卷积层的权重L1范数来作为重要性参考，范数小的通道优先剪掉。剪完后一定要做微调（fine-tune），用较低的学习率跑几十个epoch，让剩余结构适应参数量减少后的变化。
容易踩的坑是：有人剪完枝就不做微调直接部署，结果精度暴跌。原因很简单，剪掉的通道虽然"不重要"，但剪枝完毕后整个特征分布发生了改变，前向传播的表现已经和训练时完全不同，必须要有一个恢复期。我自己做过实验，同一个模型剪枝50%后，不做微调精度掉7%，微调20个epoch后掉点不到1.5%。
3.3 蒸馏：大模型当老师，小模型当学生
知识蒸馏是当模型体积限制明显时的手段。思路就是训练一个大模型作为"老师"来指导一个小模型作为"学生"，让学生模型从老师模型的软输出中学习，而不是只看着硬标签训练。
为什么软输出更高效？因为硬标签只告诉模型"这张图是猫"，而软输出还包含了"这张图70%像猫、20%像狗、10%像狐狸"这样的类间信息，等于把老师模型的泛化知识都传递了过去。核心在于温度系数T这个超参，T越高，保留的类间相似度信息就越多。我的经验是T=4左右比较平衡。
蒸馏的loss通常分两部分：学生模型在软标签上的交叉熵，加上学生模型与老师模型特征分布的差异损失。两者的权重需要自己实验调配，我一般从0.5:0.5的权重开始，然后根据验证集表现微调。蒸馏结束后的小模型往往能在参数只有老师1/10的前提下，达到老师90%以上的精度，这是模型落地场景里性价比非常高的方案。
4. 一个真实案例：把ResNet-50从训练到部署完整优化一遍
这里用一个我完整跑过的案例来串一遍所有步骤。项目背景是：一个图像分类服务，需要在CPU环境下跑到单张图片10毫秒以内的延迟，同时保持Top-1准确率不低于87%。初始模型是ResNet-50，FP32权重，CPU单张推理延迟约27毫秒，体重约98MB，显然不达标。
4.1 案例背景与初始困境
ResNet-50的准确率本身没问题，之前在ImageNet上的预训练权重能达75%左右，但本地数据集和部署环境限制让整个方案必须重新优化。平台是CPU，不支持GPU，所以任何依赖GPU加速的优化手段都无效。用户的访问量峰值很高，推理延迟和吞吐量成了硬指标。当时的方案选项是想换上更轻量的MobileNet或EfficientNet-Lite，但业务层已经绑定了部分基于ResNet结构实现的业务代码，替换结构成本太高。
最终确定的路径是：先用AdamW和更精细的训练策略把模型练到比基线更好的精度，为后续压缩预留出精度预算，然后在推理端先做结构化剪枝，再做INT8量化，如果精度还有余量就不再上蒸馏，因为蒸馏的训练成本相对更高。整个流程下来，目标是把体积缩小4倍以上，把延迟压进10毫秒以内。
4.2 训练阶段：从"Adam随便跑"到"SGD+余弦退火"
初始实验阶段，我用的是Adam，lr=0.001，没有任何scheduler，直接跑完了120个epoch。最终Top-1的精度是84.6%，卡在了目标精度之下。当时我判断模型能力不够，后来逐一排除了数据增强问题、标签噪声问题之后，意识到是优化策略有问题。
后来我把优化器换成SGD+Momentum，momentum=0.9，weight_decay=1e-4，初始lr=0.1，batch size=256。有了warmup阶段，先用5个epoch把lr从0线性升到0.1，然后按cosine schedule逐渐降到0。整个训练同样跑120个epoch，最终Top-1精度到了86.2%。仅靠优化器和lr schedule的调整，精度就涨了1.6个百分点，这就是正确使用优化器的价值。
训练代码大概是这样的：
optimizer = torch.optim.SGD( model.parameters(), lr=0.1, momentum=0.9, weight_decay=1e-4 ) scheduler = torch.optim.lr_scheduler.CosineAnnealingLR( optimizer, T_max=120, eta_min=0 ) for epoch in range(120): train_one_epoch(model, optimizer, train_loader) scheduler.step()86.2%的精度距离87%目标还有差距，但留了接近1个点的余量给量化和剪枝的精度损失。如果一开始就用Adam，精度预算只有0.4个百分点，后面部署时几乎没有任何压缩空间，只能被迫换成MobileNet。这算是这项目里最关键的转折。
4.3 部署阶段：量化+剪枝的操作顺序和效果对比
部署优化时，我先做了结构化剪枝，剪枝率为35%。用L1范数评估卷积通道重要性，逐层分析后对最后的全连接层附近的几个卷积层少剪一些，因为这些层对精度更敏感。剪完后不急着量化，先用lr=0.001的SGD微调30个epoch，把掉点拉回1%以内。
剪枝后的模型参数量从约2550万降到约1700万，FP32体积从98MB降到68MB，CPU推理延迟从27ms降到19ms。效果有了但还不够。
接下来做INT8量化。校准集选了1000张和真实线上分布接近的图片，统计激活值分布。量化后模型体积从68MB降到17MB，延迟从19ms降到8.6ms，成功进入10毫秒以内。精度从86.2%降到85.6%，损失0.6个百分点，完全覆盖了剩余精度预算。最终方案以88.6%的总压缩率、68%的延迟下降幅度达到了业务要求。
量化后的部署代码我用的ONNX Runtime做CPU推理：
python -m onnxruntime.transformers.onnx_model_quantizer \ --input_model resnet50_pruned.onnx \ --output_model resnet50_pruned_int8.onnx \ --quantize_mode int8 \ --calibration_dataset calibration_data这个顺序是重点：一定是先剪枝、微调，再量化。如果反过来，先量化再剪枝，两个优化手段带来的误差会叠加，而且剪枝会在量化后的低精度空间里造成更明显的精度下降。我拿这个项目前后顺序做过对比验证，先剪后量最终精度损失约0.9个百分点，先量后剪损失高达2.7个百分点。务实来讲，这个顺序问题比很多人想象中严重得多。
5. 常见问题与排查技巧实录
最后把实操中几乎每个项目都会遇到的问题整理出来。这里没有理论推演，全是实打实踩过的坑。
5.1 训练不收敛、loss震荡的排查清单
训练过程中loss不下降是最让人头疼的问题之一。如果你确定网络结构、数据没有根本性问题，先从优化器相关参数排查。
第一，检查学习率是否过大。一个简单判断标准是：如果前几十个step里loss大幅下降然后开始震荡，大概率是lr过大，直接把lr除以10再看效果。第二，检查weight decay是否过大。weight decay数值过大会严重抑制参数更新，导致loss卡在一个高位无法继续下降。
第三，检查warmup阶段是否存在。尤其是AdamW配合Transformer结构时，如果没有warmup，训练初期动量统计量尚未稳定，很容易出现loss尖峰甚至梯度爆炸。我见过不少人跑GPT类模型时，直接lr=5e-4从头训，loss在几百个step内反复冲高，加了一个10%步数的warmup之后一切恢复正常。
第四，检查batch size和学习率的匹配。按前面谈过的线性缩放规则，你调整batch size的时候lr必须同步调整。如果忽视了这一点，很可能出现"之前能训、现在不能训"的诡异现象。
| 现象 | 首要嫌疑 | 快速验证手段 | 最终解法 |
|---|---|---|---|
| loss剧烈震荡 | 学习率过大 | 下探lr至当前1/10 | 降低lr并增加warmup |
| loss卡在平台期 | momentum不足 | 检查momentum为0的情况 | 恢复momentum 0.9 |
| loss尖峰后爆炸 | 缺少warmup | 观察前100步loss曲线 | 增加5%-10%步数的warmup |
| 精度差但loss正常 | weight decay偏大 | 试减至当前1/5 | 按任务重设weight decay区间 |
5.2 量化后精度暴跌怎么办
量化后精度下降是推理优化里最常见的拦路虎。很多人遇到精度暴跌就直接放弃量化，但其实大部分问题都有解。
先确认校准集是否靠谱。这是第一优先级的问题。校准集的数据分布必须和线上真实流量一致，不能拿训练集凑合。举个例子，如果线上都是手机拍摄的图片，训练集却是网络爬来的高清图片，量化校准出来的统计分布自然不符合线上场景。把校准集换成100张线上抓取的样本，精度往往就能恢复不少。
再检查模型本身对量化的敏感度。如果模型使用了某些对数值范围特别敏感的结构，比如GN（GroupNorm）或某些激活函数，量化误差会被明显放大。我自己的排查序列是：先校准集、再逐层测试、再考虑QAT。逐层测试的思路是：固定其他层不动，只量化某一层，看精度影响。这样能定位到最敏感的那几层，对敏感层跳过量化或做保精度处理。
5.3 剪枝掉点、蒸馏失效的排查思路
剪枝后掉点严重，优先检查剪枝策略是否过于机械。全局统一剪枝率对不同层并不公平，浅层特征往往对输入结构更敏感，剪多了损失天然更大。按层分配剪枝率，或者用泰勒展开等基于梯度的通道重要性判定方法，比单纯的L1范数更精准。我自己常用的方法是：先做逐层敏感度测试，用一组剪枝率梯度扫描，画出每个层的精度曲线，再按曲线形态分配合理的通道路数。
蒸馏失败时，先别急着调loss权重，检查学生模型结构和老师模型输出维度是否匹配。我遇到过最基础的错误：学生模型的输出特征是二维的，老师模型的特征空间高过学生太多，导致distill loss一直在震荡，还没等调loss权重就已经输了在起跑线上。同时确认温度T的取值是否合理。T过高会让学生模型只关注到类间相似度，忽略了真实标签；T过低则退化成普通训练。我用T=4作为默认起点，用验证集上的top-1准确率来判定T的取值是否有效。
6. 总结与经验心得
现在回看这套流程，我发现真正决定项目成败的，不是某个单一的优化技术，而是对整个链路节奏的把控。先明确模型将来部署在哪里、延迟和精度要求是多少、可用的微调资源有多少，再反推训练阶段应该用什么优化器和训练策略，最后才谈得上部署阶段的量化剪枝。
我个人实际使用的心得是：训练优化器和推理优化器绝对不能割裂对待。训练阶段用Adam随便跑出来的模型，到了部署阶段往往没有足够精度预算做压缩；反过来，训练阶段花心思把优化器调好，推理阶段就多出来一个完整的压缩空间。这个策略带来的收益，比我尝试过的任何单一优化手段都大。
最后再分享一个小技巧：优化器相关的调整一定要做实验记录。同一个项目里，lr、weight_decay、剪枝率、量化顺序这些参数组合非常多，你不可能靠记忆管理所有结果。建议每次改动只动一个变量，把对应的loss曲线和验证集指标截图归档，一段时间后回看这些记录，你会发现很多当时没注意到的规律，这些规律比任何博客教程都更适合你手里的模型和业务。
