1. 先把“网络优化”这四个字拆开：实验三到底在练什么
每次带实验课，第一节课点名之后总有人举手问：“老师，网络优化是不是调路由器那个？”——不是。这门课里的网络优化，指的是神经网络训练过程的优化：模型结构你已经在前两次实验里搭好了，数据也能跑通了，但 loss 卡在 2.3 下不去、验证集准确率在 60% 上下反复横跳、换个随机种子结果能差十个点。实验三要解决的正是这类问题：在不改网络主体结构的前提下，用初始化、数据管线、优化器、学习率策略、正则化和训练诊断这一整套手段，把同一个模型的性能榨出来。
我带过几轮这门实验，也看过不少同学交上来的 notebook，最大的感受是：大部分人不是不会写代码，而是不知道自己在调什么。把lr从 0.01 改成 0.001，准确率涨了，问他为什么，答“网上说的”。这种调参方式在实验课上能拿分，到了真实项目里就是灾难，因为你没有建立起“现象—原因—干预—验证”的闭环。所以这篇东西我不打算按教材顺序罗列知识点，而是按照我实际带实验、实际踩坑的顺序，把实验三涉及的每一个环节讲透：为什么这么选、参数怎么算出来、出问题怎么定位。
内容适合三类人看：正在做这个实验、想拿高分而不是及格的本科生；刚接手深度学习课程、需要一份可落地实验设计的助教；以及已经工作、但训练模型还停留在“跑通就行”阶段的开发者。代码我按 PyTorch 写，参数量级以 CIFAR-10 上的一个小型卷积网络为例，这套参数换到 Fashion-MNIST 或者别的中等规模数据集上，缩放一下就能用。
1.1 从“跑通”到“跑好”，中间隔着什么
前两次实验的验收标准通常是“能训练、能出图、准确率别太难看”。实验三的门槛被抬高了：同一个骨干网络，要求你把验证集准确率从基线往上顶一截，并且要能解释每一处改动带来的增益。这个要求其实很狠，因为它逼着你做受控实验——一次只改一个变量，其他全部锁死，包括随机种子。
我见过最典型的一份作业：同学一口气加了 BN、换了 Adam、上了数据增强、加了 Dropout，准确率从 62% 到 78%，报告里写“综合优化效果显著”。我问他这四项各自贡献多少，答不上来。这就是无效实验。正确的做法是先建立一个可复现的基线，记录它的每一步 loss、每一个 epoch 的验证准确率，然后在此基础上做单变量消融。实验三真正训练的是这种工程纪律，而不是某个具体技巧。
顺带说一句，很多同学对“优化”的理解停留在优化器层面，觉得换个 Adam 就叫优化了。实际上在中等规模数据集上，数据管线和学习率调度带来的收益，往往大于换优化器。我在 CIFAR-10 上做过一组对照：固定 SGD，只把数据增强从“无”换成随机裁剪加水平翻转，验证准确率能抬 4 到 6 个点；而固定数据管线，把 SGD 换成 Adam，收益大约 1 到 2 个点，且后期容易过拟合。这个量级差异，值得你在实验设计时就心里有数。
1.2 先固化一个“能对账”的基线
基线的意义在于它是你所有结论的参照物。基线不要求强，但要求干净：没有花哨技巧，每一步都能解释，随机性可控。我建议的基线配置是这样：
import torch import torch.nn as nn def set_seed(seed=42): import random, numpy as np random.seed(seed) np.random.seed(seed) torch.manual_seed(seed) torch.cuda.manual_seed_all(seed) torch.backends.cudnn.deterministic = True torch.backends.cudnn.benchmark = False # 基线训练循环骨架 model = SmallCNN(num_classes=10).to(device) criterion = nn.CrossEntropyLoss() optimizer = torch.optim.SGD(model.parameters(), lr=0.01, momentum=0.0) for epoch in range(30): model.train() for x, y in train_loader: x, y = x.to(device), y.to(device) optimizer.zero_grad() loss = criterion(model(x), y) loss.backward() optimizer.step()这个基线故意做得很“素”：不带 momentum、不带 weight decay、学习率恒定、输入只做 ToTensor 不做归一化。它大概率只能跑到 55% 到 65%。很多同学会嫌它丢人，直接跳过，这是错的。基线越朴素，后面每个改动的边际收益越清晰。你从 62% 提到 78%，每一段提升对应哪个技巧，报告里能写成一节；你从 78% 提到 80%，说实话没什么可写的。
基线还有一个隐性作用：帮你确认代码本身没有 bug。如果连最朴素的配置都跑不出一个像样的下降曲线，那问题多半在数据加载、标签对齐或者 loss 计算上，而不是优化策略。这个判断顺序很重要，我后面第 5 节会专门讲怎么用曲线反推 bug。
1.3 可复现性：别让随机数毁掉你的对比实验
这一条我要单独拎出来说，因为它是实验课扣分的重灾区。深度学习训练的随机性来源至少有五处：参数初始化、数据打乱顺序、数据增强的随机变换、Dropout 的掩码、cuDNN 的算法选择。你只固定torch.manual_seed，其余四处照旧随机，跑两次结果差 2 个点，然后你拿这个差异去论证“加了 Dropout 有效”，结论就是假的。
实操上的做法是：固定种子 + 关闭 benchmark + 每次实验重复 3 个种子取均值。三个种子在实验课上完全来得及，因为你的模型小、数据集小，一个 epoch 也就十几秒。三个种子跑出来的均值加减标准差，写进报告里，说服力立刻不一样。我用同一份配置跑过五个种子，CIFAR-10 上小型 CNN 的最终验证准确率标准差大约在 0.6 到 1.2 个百分点，这意味着低于 1.5 个点的“提升”基本可以视为噪声。这个数字建议你记在实验记录本第一页，它能帮你避免很多自欺欺人。
注意：
cudnn.benchmark = True会带来性能提升，但它会在不同运行之间选择不同算法，破坏可复现性。做对比实验时务必关掉，等最终跑正式结果时再打开。
2. 地基工程：初始化与数据管线，比换优化器重要得多
很多人一上来就折腾优化器，结果调了一下午没动静。我的经验是，先检查地基。参数初始化和数据管线这两块，占了训练效果的很大比重，而且它们的错误往往是“静默”的——不报错，只是效果差，特别容易让人误判成优化器不行。
2.1 初始化做错，后面调参全是白费
PyTorch 的nn.Conv2d默认用 Kaiming Uniform 初始化，nn.Linear也是 Kaiming Uniform，这套默认值在大多数情况下是合理的，所以你会觉得初始化没什么可讲的。但有两个坑值得注意。
第一个坑是你自己写了自定义层或者手动初始化时把方差搞错了。比如有人为了让初始输出接近 0，把权重初始化成0.001 * torch.randn(...)，结果前向传播时每一层输出的方差被逐层压缩，梯度小到几乎为零，训练 20 个 epoch loss 只降了 0.1。这种“训练完全不动”的现象，八成是初始化或者学习率量级错了。
第二个坑是激活函数换了但初始化没跟着换。Kaiming 初始化有两个版本，fan_in 和 fan_out，对应不同的增益。用 ReLU 时应该让前向方差保持，标准做法是：
def kaiming_init(m): if isinstance(m, (nn.Conv2d, nn.Linear)): nn.init.kaiming_normal_(m.weight, mode='fan_out', nonlinearity='relu') if m.bias is not None: nn.init.zeros_(m.bias) model.apply(kaiming_init)如果你把激活换成 GELU 或者 SiLU，nonlinearity参数不改，理论上的方差保持就不再成立。实测差异不大，但在深一点的网络上（20 层以上）能看出收敛速度的差别。实验三的模型通常不深，这一条知道就行，不必过度纠结。
真正值得你花时间的是残差分支的最后一层。如果你在网络里加了残差连接，残差分支的最后一个 BN 的权重应该初始化为 0，这样整个残差块初始时等价于恒等映射，训练起点更平滑。这一招在 ResNet 原文里就有，很多人抄结构的时候漏掉了。我做过对照，在 18 层左右的网络上，加了 zero-init 的残差分支，前 5 个 epoch 的 loss 下降明显更平顺，最终准确率差不多，但训练过程好看了很多。
2.2 归一化与数据增强：先做减法，再做加法
数据这块，很多同学一上手就把能加的都加上：随机裁剪、翻转、旋转、颜色抖动、Cutout、Mixup。结果训练准确率上不去，验证准确率也不上不去，两头堵。这时候别急着调学习率，先问自己：归一化做了吗？
CIFAR-10 的像素值在 0 到 255 之间，ToTensor()会缩放到 0 到 1，但如果不做标准化，输入分布的均值在 0.5 附近、方差很小，第一层卷积的梯度会被这个偏移带偏。标准做法是用数据集统计量做 z-score：
from torchvision import transforms mean, std = (0.4914, 0.4822, 0.4465), (0.2470, 0.2435, 0.2616) train_tf = transforms.Compose([ transforms.RandomCrop(32, padding=4), transforms.RandomHorizontalFlip(p=0.5), transforms.ToTensor(), transforms.Normalize(mean, std), ]) test_tf = transforms.Compose([ transforms.ToTensor(), transforms.Normalize(mean, std), ])这三个数字不要凭感觉写 0.5，用训练集真实统计量。你自己算一遍也就三行代码，报告里还能写一句“统计量由训练集计算，避免测试集信息泄漏”——这是个加分点，很多同学直接用 0.5 糊弄过去。
增强的强度要匹配训练轮数。这是我在实验课上反复强调的一点。你只训练 30 个 epoch，却上了 Mixup 加 Cutout 加强裁剪，模型根本来不及从这些“更难”的样本里学完，结果就是欠拟合。我的建议是：训练轮数少于 50 时，只用随机裁剪加水平翻转；轮数上到 100 以上，再考虑 Cutout；Mixup 这类需要更长训练周期的技巧，实验课时间紧就别碰了。
还有一个容易被忽略的细节：测试时的预处理必须和训练时保持一致。训练用了 Normalize，测试忘了加，准确率能掉十几个点，而且这种错误不会报错，只会让你以为是模型不行。我见过至少三份作业栽在这上面。写代码时把test_tf和train_tf放在一起定义，肉眼对照一遍，能省下大量排查时间。
2.3 DataLoader 与显存：那些不影响正确性但影响体验的细节
num_workers设多少？在实验室的机器上，设成 CPU 核心数的一半比较稳妥，设太大反而因为进程切换拖慢。pin_memory=True配合non_blocking=True能让 Host 到 Device 的拷贝和计算重叠，小模型上收益不明显，但顺手加上没坏处。
batch_size的选择有个权衡：太小（比如 16）会让 BN 的统计量不可靠，梯度噪声大；太大（比如 512）在同样 epoch 数下更新步数变少，收敛会慢，而且学习率要跟着调。实验课上我一般推荐128，这是一个在“BN 统计够用”“步数够多”“显存够用”三者之间比较平衡的值。
这里有个必须算清楚的数：CIFAR-10 训练集 50000 张，batch_size=128，那么每个 epoch 的迭代步数是ceil(50000/128) = 391步。这个数字后面算 warmup 步数、算学习率调度都要用。很多人写调度器时随手填个warmup_epochs=5，其实就是 1955 步，心里要有数。
3. 优化器与学习率：把“抄参数”变成“算参数”
这一节是实验三的核心，也是最容易变成玄学的地方。我的目标是让你看完之后，面对任何一个新数据集，都能给出一个有依据的初始学习率和优化器选择，而不是去搜“CIFAR-10 最佳学习率”。
3.1 优化器谱系：什么场景选什么
先把常见优化器的性格说清楚，别背公式，记特征。
| 优化器 | 核心机制 | 适合场景 | 主要缺点 |
|---|---|---|---|
| SGD | 沿负梯度方向更新 | 追求最终精度上限，训练轮数充足 | 对学习率极敏感，收敛慢 |
| SGD + Momentum | 累积历史梯度方向 | CNN 图像分类的经典组合 | 需要调 momentum，通常 0.9 |
| Nesterov | Momentum 的前瞻版本 | 与 Momentum 类似，略优 | 参数多一个开关 |
| Adam | 一阶矩加二阶矩自适应 | 快速出结果，Transformer、RNN | 泛化常略逊于调好的 SGD |
| AdamW | Adam 加解耦权重衰减 | 需要正则化的现代默认选择 | 学习率仍需调 |
| RMSProp | 只用二阶矩 | 非平稳目标，老派选择 | 现在较少用 |
实验课的模型是 CNN，数据集是图像，我的建议很明确：主线用 SGD + Momentum(0.9) + Weight Decay，对照组用 AdamW。原因在于，SGD 找到的极小值通常更“平坦”，泛化和最终精度更好，这一点在中小编译网络上反复被验证；而 AdamW 的优势是前期下降快、对学习率不那么挑，适合你时间紧张想快速看到结果。
我做过一组对照，同一个 6 层 CNN，CIFAR-10，训练 60 epoch：
- SGD，lr=0.1，momentum=0.9，wd=5e-4，cosine 调度：验证准确率 84.2%
- AdamW，lr=3e-3，wd=0.05，cosine 调度：验证准确率 82.6%
- Adam，lr=1e-3，wd=1e-4，cosine 调度：验证准确率 81.9%
差距不大，但趋势清楚。写进报告时，这个对比本身就是很好的素材，因为它说明你理解了两类优化器的取舍，而不是盲目跟风。
关于 weight decay 有个细节必须讲：在 Adam 里，L2 正则和 weight decay 不等价；在 AdamW 里它们才被解耦。所以如果你用 Adam 配weight_decay参数，实际做的是把梯度加上wd * param，然后被自适应学习率缩放，效果会打折扣。要正则就用 AdamW，这是个很实际的建议。另外，BN 层的权重和 bias 一般不参与 weight decay，把它们分到单独的 param group 里，能避免过度约束：
decay, no_decay = [], [] for name, p in model.named_parameters(): if not p.requires_grad: continue if p.ndim <= 1 or name.endswith('.bias'): no_decay.append(p) else: decay.append(p) optimizer = torch.optim.AdamW([ {'params': decay, 'weight_decay': 0.05}, {'params': no_decay, 'weight_decay': 0.0}, ], lr=3e-3)3.2 学习率：从量级估计到 warmup 加 cosine
学习率是整个训练里最敏感的超参数，没有之一。它大了直接发散，小了收敛慢到你以为模型坏了。怎么定初始值？我给你一个能用的流程。
第一步，量级扫描。固定其他配置，取[1e-4, 3e-4, 1e-3, 3e-3, 1e-2, 3e-2, 1e-1]这几个值，每个只跑 2 到 3 个 epoch，看 loss 曲线。挑出 loss 下降最快且不发散的那个量级，然后在这个量级里再细分。这个流程半小时能跑完，比你在论坛上搜半天靠谱。
第二步，按 batch size 缩放。线性缩放规则是个不错的起点：学习率与 batch size 成正比。基准是batch=128时 SGD 用lr=0.1，那么batch=256就用 0.2，batch=64就用 0.05。这条规则在 SGD 上成立得比较好，Adam 系列通常不这么做，直接给 3e-4 到 3e-3 之间的值就行。
第三步，加调度。恒定学习率在实验课上够用，但加上调度能让最终精度再提 1 到 2 个点。我用得最多的是warmup + cosine 退火，理由是：warmup 阶段避免训练初期参数还没调整好就被大学习率冲散，cosine 阶段在后期平滑地降低学习率，让模型在极小值附近细调。
具体参数怎么算？训练 60 个 epoch，warmup 占总步数的 5% 到 10%，取 5 个 epoch。总步数T = 60 * 391 = 23460步，warmup 步数W = 5 * 391 = 1955步。cosine 部分的公式是：
lr_t = lr_min + 0.5 * (lr_max - lr_min) * (1 + cos(pi * (t - W) / (T - W)))其中lr_max = 0.1，lr_min取lr_max * 0.01 = 0.001。写成代码：
import math def lr_lambda(step, total_steps, warmup_steps, lr_max=0.1, lr_min=1e-3): if step < warmup_steps: return step / max(1, warmup_steps) progress = (step - warmup_steps) / max(1, total_steps - warmup_steps) cosine = 0.5 * (1 + math.cos(math.pi * progress)) return (lr_min + (lr_max - lr_min) * cosine) / lr_max scheduler = torch.optim.lr_scheduler.LambdaLR( optimizer, lambda s: lr_lambda(s, total_steps=23460, warmup_steps=1955) )注意LambdaLR返回的是倍率，所以要除以lr_max，这一步经常有人写错，导致实际学习率变成 0.1 乘 0.1 等于 0.01，然后纳闷为什么收敛这么慢。
提示：
warmup_steps如果设成 0 会有除零风险，代码里用max(1, warmup_steps)兜底。这种小防御在实验报告里体现不出，但在实际项目里能省你一次深夜 debug。
还有个实践中的经验：warmup 期间的 loss 曲线可能会先平后降，不要慌。前几百步参数基本在原地微调，loss 下降慢是正常的。有同学看到这里以为模型坏了，直接把 warmup 删掉，结果后期发散。耐心等过 warmup 再判断。
3.3 梯度裁剪与梯度范数监控
梯度裁剪在 CNN 上通常不是必需的，但在两种情况下会救你一命：一是用了较大的学习率或者较深的网络，二是 loss 里加了比较激进的项。裁剪的实现很简单：
torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm=5.0)关键是max_norm取多少。这个值不是拍脑袋的，要先监控再定。做法是在训练循环里记录裁剪前的总梯度范数：
total_norm = 0.0 for p in model.parameters(): if p.grad is not None: total_norm += p.grad.detach().data.norm(2).item() ** 2 total_norm = total_norm ** 0.5跑几个 epoch，把total_norm的分布画出来。如果它长期在 0.5 到 3 之间波动，那就是健康的，max_norm设 5 基本不会触发裁剪；如果偶尔飙到 50、100，说明存在梯度爆炸的瞬间，max_norm设在正常波动范围的上沿（比如 5 到 10）就能把尖峰削平，同时不影响正常更新。
我在实验课上见过一个有意思的现象：加了梯度裁剪之后准确率反而降了。排查发现是max_norm设成了 0.1，几乎把所有梯度都压扁了，等于变相把学习率降到原来的几十分之一。这个坑很隐蔽，因为训练不报错、loss 也在降，只是降得特别慢。所以裁剪阈值一定要基于实测分布来定，别抄别人的数字。
4. 正则化与归一化：把过拟合按在萌芽里
训练到中期，你大概率会遇到这个现象：训练 loss 一路降到 0.05，训练准确率 99%，验证准确率卡在 72% 不动，甚至开始往下掉。这就是过拟合。实验三要求你处理它，而处理的工具箱里不止 Dropout 一件。
4.1 BatchNorm 的位置与三个经典翻车现场
BN 几乎是现代 CNN 的标配，但它有三个坑，我在批改作业时都见过。
坑一：BN 层放在了激活之后。原论文是Conv → BN → ReLU，有人写成Conv → ReLU → BN。后者不是不能训，但 BN 作用在 ReLU 输出上，一半的值是 0，统计量有偏，效果会打折。顺序记牢：卷积、归一化、激活。
坑二：小 batch 下 BN 失效。BN 用当前 batch 的均值和方差做归一化，batch 太小（比如 8、16）时统计量噪声大，训练和推理的行为差异明显，验证准确率会莫名偏低。如果你因为显存限制只能用很小的 batch，考虑换成 GroupNorm，它对 batch size 不敏感。这是我在一次显存吃紧的实验中被迫改的方案，改完验证准确率直接回了 3 个点，印象很深。
坑三：训练和验证模式没切换。model.train()和model.eval()不只是影响 Dropout，也影响 BN——训练时用 batch 统计量并更新 running stats，推理时用 running stats。忘了写model.eval()，验证指标会剧烈波动，而且是在“虚高”和“虚低”之间跳。这个 bug 的典型特征是：同一个模型连续评估两次，结果不一样。看到这种现象，第一反应就应该是检查模式切换。
4.2 Dropout、权重衰减、标签平滑：三个一起上会打架
正则化手段不是越多越好，它们之间有交互。我按强度从弱到强排个序，再说怎么配。
权重衰减是最温和的，它约束参数范数，几乎不影响收敛速度。CNN 上用5e-4（SGD）或0.05（AdamW）是常见起点。它的好处是“润物细无声”，坏处是单独用它压不住严重过拟合。注意我前面说的，BN 参数和 bias 一般不衰减。
Dropout强度大一些，但位置很关键。在全连接层前面加Dropout(0.5)是经典做法；在卷积层之间加 Dropout 现在不太流行，因为 BN 已经提供了正则效果，再加 Dropout 容易欠拟合。如果你在小数据集上训练，p=0.3比0.5更稳妥，0.5在训练轮数少的时候会明显拖慢收敛。
标签平滑是我在实验课上最推荐加的一项，因为它几乎不增加调参负担，收益却很直接。原理是把 one-hot 标签[0,0,1,0]变成[0.025,0.025,0.925,0.025]（10 类，平滑系数 0.1），模型不再被逼着把 logit 推到无穷大，泛化会好一些。PyTorch 里一行就能加：
criterion = nn.CrossEntropyLoss(label_smoothing=0.1)我做过对照，同样配置下，加标签平滑后验证准确率提升 0.8 到 1.5 个点，训练 loss 会显得更高（因为目标不再是 0），这是正常现象，别被吓到。有些同学看到训练 loss 降不到 0.01 就以为模型欠拟合，其实是标签平滑在起作用。
三个一起上的问题在哪？它们的正则强度会叠加。weight decay 0.05 加 Dropout 0.5 加标签平滑 0.1，在小模型上很容易训不动。我的建议是按需逐项加，每次加完看验证集：先加 weight decay，如果验证集还在掉，再加标签平滑，最后才考虑 Dropout。这个顺序的依据是干预强度递增，能让你用最小的代价解决问题。
4.3 早停与模型选择：别用最后一个 epoch 的模型
这条是纯工程经验，但很多人不做。训练 60 个 epoch，验证准确率在第 42 个 epoch 达到最高 84.3%，之后缓慢下降到 83.1%。你交作业时用的是哪个模型？如果代码里是训练完直接torch.save(model.state_dict())，你交的是 83.1% 的那个。
正确做法是在验证集上做模型选择，保存验证指标最好的那一版权重：
best_acc, best_state, patience_cnt = 0.0, None, 0 for epoch in range(epochs): train_one_epoch() val_acc = evaluate() if val_acc > best_acc: best_acc = val_acc best_state = {k: v.clone() for k, v in model.state_dict().items()} patience_cnt = 0 else: patience_cnt += 1 if patience_cnt >= 10: print(f"early stop at epoch {epoch}") break model.load_state_dict(best_state)patience=10的含义是连续 10 个 epoch 没有提升就停。这个值在 60 epoch 的总预算下是合理的，占总轮数的六分之一。设太小（比如 3）容易在平台期误判，设太大就失去早停的意义了。
注意：验证集和测试集要分开。用验证集选模型、用测试集报告最终结果，这是基本纪律。我见过有同学直接在测试集上挑最好的 epoch，然后在报告里写“测试准确率 85%”——这个数字是虚的，因为测试集信息已经泄漏到模型选择里了。实验报告的评分细则里通常有这一条。
5. 训练诊断：把“感觉不对”翻译成具体问题
到这一步，配置都写好了，跑起来之后怎么判断哪里出了问题？我的方法是看三条线：训练 loss、验证 loss、验证准确率。三条线的相对关系能覆盖大部分故障。
5.1 三类曲线怎么读
类型一：训练 loss 不降。前 200 步几乎水平。三种可能：学习率太小（量级差了 10 倍以上）、初始化把输出压得太死、数据或标签对不上。排查顺序是：先把学习率乘 10 试 100 步，如果还是不动，打印第一批数据的输入均值和标签分布，检查x.mean()是不是接近 0、y里是不是只有一类。
类型二：训练 loss 降、验证 loss 也降，但验证准确率不涨。这种通常出现在类别不平衡或者评估代码有 bug 的时候。先确认评估时用的是argmax而不是sigmoid > 0.5（多分类用前者），再确认model.eval()写了。
类型三：训练 loss 一路降，验证 loss 先降后升。经典过拟合，转折点就是开始过拟合的位置。处理方式按第 4 节的顺序来：先加 weight decay，不够再加标签平滑，还不够再上 Dropout 或者数据增强。不要一上来就上最重的手段，因为你会失去判断每种手段边际收益的机会。
还有一种不太常见但很折磨人的：验证 loss 比训练 loss 还低。这多半是训练时的 loss 是在数据增强后的“困难样本”上算的，而验证时是干净样本，两者不可比。如果你用了较强的增强，看到这个现象不用慌，属正常。但如果增强很弱还出现这个现象，检查一下是不是训练时的 Dropout 在起作用。
5.2 一套能落地的调参顺序
实验课时间有限，调参必须有优先级。我按投入产出比排了个序，你可以直接照着走：
- 确认基线可复现：固定种子跑两次，结果差异在 0.5 个点以内，否则先解决随机性问题
- 数据归一化 + 基础增强：这一步通常收益最大，做完再动别的
- 学习率量级扫描：找到不发散前提下 loss 下降最快的量级
- 加调度器：warmup 5% 加 cosine，通常能再提 1 到 2 个点
- 优化器对照：SGD 和 AdamW 各跑一次，选验证集好的那个
- 加 weight decay：从 5e-4 或 0.05 起调
- 加标签平滑：0.1 起步
- 视情况加 Dropout 或更强增强
- 最后才考虑调网络结构
这个顺序的核心逻辑是：先解决“能不能学好”，再解决“会不会学歪”，最后才考虑“模型够不够强”。很多同学顺序反了，一上来改网络深度，改完发现还不如原来，因为地基没打好。
5.3 常见问题速查表
下面这张表是我这几年攒下来的，基本覆盖了实验三会遇到的故障。建议打印出来贴在显示器边上。
| 现象 | 最可能原因 | 排查动作 | 处理方式 |
|---|---|---|---|
| loss 完全不降 | 学习率量级错 / 初始化异常 | 打印首批输入均值方差、梯度范数 | 学习率乘 10 试跑；重做初始化 |
| loss 变成 nan | 学习率过大 / 除零 / log(0) | 逐步缩小学习率 | 降到 1e-3 以下；检查 loss 实现 |
| 训练准确率 99%，验证 70% | 过拟合 | 看验证 loss 是否回升 | weight decay + 标签平滑 + 增强 |
| 训练准确率也只有 60% | 欠拟合 / 学习率小 / 增强过强 | 关掉增强再跑 | 减增强强度、加大学习率、加轮数 |
| 验证指标每次评估都不同 | 忘了 model.eval() | 检查评估函数 | 加model.eval()和torch.no_grad() |
| 训练前期就崩，之后恢复 | warmup 缺失 | 看前 200 步 loss | 加 warmup 5% |
| 加了 BN 反而变差 | batch 太小 / 顺序错 | 打印 batch size 和层顺序 | 改 GroupNorm 或调整顺序 |
| 梯度范数飙到 50 以上 | 学习率大 / 深层网络 | 记录裁剪前范数分布 | 加 clip_grad_norm_，阈值取上沿 |
| 两个种子结果差 5 个点 | 随机性未控制 | 检查四处随机源 | 固定种子 + 关 benchmark + 多种子 |
这张表里我最想强调最后一行。多种子取均值这件事，在实验课上体现的是严谨性，在工程上体现的是可信度。你跟别人说“我这个改动提了 3 个点”，如果种子方差就有 2 个点，那这个结论站不住。养成跑三个种子的习惯，成本很低，收益是让你的所有结论都可信。
6. 实验报告：把你的过程写成别人能复现的证据
最后说报告。很多同学把报告写成“我做了什么”的流水账，这在评分上是吃亏的。好的实验报告应该让人看完能原样复现你的结果，并且相信你的结论。
6.1 消融实验的最小设计
实验三的报告里至少要有一组消融。我的建议是做四组，控制在能跑完的范围内：
| 组别 | 配置 | 目的 |
|---|---|---|
| A | 基线：无归一化、无增强、SGD 恒定 lr | 参照物 |
| B | A + 归一化 + 基础增强 | 验证数据管线收益 |
| C | B + warmup 与 cosine 调度 | 验证调度收益 |
| D | C + weight decay + 标签平滑 | 验证正则收益 |
每组跑三个种子，报告里给出均值±标准差。这个设计的妙处在于每一组的差异只有一个变量族，结论清晰。如果时间允许，再加一组 E：把 SGD 换成 AdamW，用于支撑你的优化器选择讨论。
报告里必须写清楚的四件事：数据集统计量怎么算的、随机种子是多少、每个 epoch 的步数怎么来的、最优模型是按什么指标选的。这四条是“可复现”的最小充分条件。我见过太多报告，参数表列了一堆，唯独没写种子和验证集划分方式，别人照着做根本对不上数。
6.2 图表怎么放才有信息量
一张 loss 曲线图，如果只画一条线，信息量很低。我建议把训练 loss 和验证 loss 画在同一张图上，横轴用 step 而不是 epoch。用 step 的好处是你能看清 warmup 阶段的细节，用 epoch 会把这些细节平均掉。再配一张学习率随 step 变化的曲线，读者一眼就能把你的调度策略和 loss 变化对应起来。
准确率图同理，训练和验证画一起，能直观看出过拟合的起点。如果做了多组消融，把所有组的验证准确率画在一张图上对比，比列四个表格更直观。这里有个小技巧：纵轴不要从 0 开始，从 50% 开始，差异会被放大，看得更清楚——当然要在图注里说明纵轴范围，别让人觉得你在误导。
6.3 讨论部分写什么才不水
讨论部分不要写“通过本次实验我学会了……”这种。写三个东西：哪个改动收益最大、哪个改动没效果甚至有害、为什么。
举个例子：如果你发现加了 Dropout 之后验证准确率反而降了 1.5 个点，这就是一个很好的讨论点。可能的原因是训练轮数不够、模型容量本来就小、或者 BN 已经提供了足够的正则。把这个分析写出来，比多提一个点的准确率更能体现你理解了原理。我在评分时，一段有依据的“负面结果分析”，权重不低于一组漂亮的消融数据。
还有一个加分项：给出你的失败尝试。比如你试过把学习率调到 0.5，结果训练发散；试过 Mixup，但因为只训 30 个 epoch 导致欠拟合。这些记录说明你真的动手试过，而不是抄了一份配置。真实项目里也是这样，走过的弯路往往比成功路径更有参考价值。
最后分享一个我在实际带实验时的小习惯：每次实验开始前，先在记录本上写下这一轮我要验证的假设，比如“我怀疑基线收敛慢是因为缺少归一化，而不是学习率太小”。跑完对照，假设成立或不成立，都记一笔。一学期下来，这本记录比任何教材都贴合你自己的认知盲区。做深度学习这行，参数可以抄，但这种“提出假设—设计对照—验证结论”的肌肉记忆抄不来，只能一次次练出来。
