1. 从全连接到卷积：为什么必须跨过这道坎
如果你跟着前面的课程一路走到这里，大概率已经用全连接网络跑通过手写数字识别，甚至在一些小尺寸数据集上拿到了还不错的结果。但只要你尝试把同样的思路搬到稍大一点的彩色图片上，就会立刻撞上一堵墙——参数量爆炸。一张224×224的RGB图片，展平之后是150528个输入维度，如果第一层隐藏层只放1000个神经元，光这一层就是1.5亿个参数。这个数字意味着什么？意味着你的显存瞬间被吃光，意味着训练一轮要等到天荒地老，更意味着模型几乎必然过拟合。
卷积神经网络要解决的核心问题，就是把这个参数量压下来，同时保留图像的空间结构信息。它的思路其实非常朴素：图像中相邻的像素高度相关，远处的像素关系较弱；同一个物体出现在图片的不同位置，应该用同一套权重去识别它。这两条直觉分别对应了卷积的两个核心特性——局部连接和权值共享。
我见过不少初学者在学CNN的时候，把卷积核当成一个黑盒，只知道调用nn.Conv2d，却说不清楚里面到底发生了什么。这种状态下，一旦模型不收敛或者效果异常，你根本无从下手排查。所以这一节我想先把卷积的数学本质讲透，再进入代码层面。
1.1 卷积核到底在“看”什么
一个3×3的卷积核，本质上就是一个9个数字组成的小矩阵。它滑过输入特征图的每一个位置，每次取对应位置的9个像素，做逐元素相乘再求和，得到一个输出值。这个过程你可以想象成拿一个放大镜在图片上逐格移动，每移动一格就记录一个“匹配分数”。
关键在于，这个卷积核的9个数字是学出来的。在浅层，网络会自动学到边缘检测器、角点检测器这类低级特征；到了中层，会组合出纹理、局部形状；到了深层，才会形成语义级别的特征。这也是为什么CNN特别适合处理图像——它天然地构建了一个从低级到高级的特征层次结构。
我建议你在学完这一节之后，自己动手把训练好的第一层卷积核可视化出来。你会看到一些类似Gabor滤波器的条纹图案，有的对水平边缘敏感，有的对垂直边缘敏感，还有的像棋盘格。亲眼看到这些东西，比看十遍公式都管用。
1.2 输出尺寸的计算：一个必须刻进肌肉记忆的公式
卷积输出尺寸的计算是后面所有网络设计的基础，公式如下：
输出尺寸 = (输入尺寸 - 卷积核尺寸 + 2 × padding) / stride + 1这个公式看起来简单，但我在实际教学中发现，至少有三分之一的人会在stride不为1或者padding不对称的时候算错。举个具体例子：输入32×32，卷积核5×5，padding=2，stride=1，那么输出就是(32-5+4)/1+1=32，尺寸不变。如果stride改成2，输出就变成(32-5+4)/2+1=16，尺寸减半。
注意：当计算结果不是整数时，PyTorch默认会向下取整，但这通常意味着你的参数设置有问题，因为特征图尺寸出现小数在实际中是没有意义的。
我个人的习惯是，在设计网络结构之前，先在纸上把每一层的输入输出尺寸全部算一遍，确认无误之后再写代码。这个习惯帮我省下了大量调试时间。
2. 池化层与感受野：CNN真正强大的隐藏逻辑
很多人学CNN的时候把注意力全放在卷积层上，觉得池化层就是个简单的下采样，没什么好讲的。但如果你真的想理解CNN为什么有效，池化层和感受野这两个概念是绕不过去的。
2.1 最大池化与平均池化的选择逻辑
池化层最常见的两种形式是最大池化（Max Pooling）和平均池化（Average Pooling）。最大池化取窗口内的最大值，平均池化取窗口内的平均值。在分类任务中，最大池化用得更多，原因是它保留了最显著的特征响应，相当于在问“这个区域里有没有出现我关心的模式”。而平均池化更像是在问“这个区域整体的响应强度如何”，它对背景信息更敏感。
不过这几年有一个趋势值得注意：很多现代网络架构开始用步长为2的卷积来代替池化层。这样做的好处是整个网络变成全卷积结构，参数全部可学习，不再有固定的下采样操作。我在几个图像分类项目里对比过这两种方案，在数据量充足的情况下，用stride=2的卷积替代池化确实能带来一到两个百分点的精度提升，但参数量和计算量也会相应增加。
2.2 感受野：为什么深层神经元能“看到”更大的范围
感受野是指输出特征图上的一个像素点，对应到原始输入图像上的区域大小。这个概念的直觉理解是：浅层的一个神经元只能看到图片上很小的一块区域，而随着层数加深，每个神经元能“看到”的原始图像区域越来越大。
感受野的计算是逐层递推的。假设每一层都是3×3卷积、stride=1、padding=1，那么第一层感受野是3×3，第二层是5×5，第三层是7×7，第n层是(2n+1)×(2n+1)。如果中间插入一个2×2的池化层，感受野的增长速度会进一步加快。
理解感受野的实际意义在于：如果你的目标物体在图像中占据较大面积，而你的网络感受野太小，那么网络根本无法“看到”完整的目标，效果自然好不了。这也是为什么在设计网络时，深层通常会配合下采样操作来快速扩大感受野。
我在做一个细粒度分类任务时踩过这个坑：输入图片是512×512，目标物体大概占200×200的区域，但我用的网络到最后一层感受野才100×100左右，结果模型始终学不好。后来把网络加深并加入池化，感受野上去了，精度立刻有了明显改善。
3. 用PyTorch搭建一个进阶CNN：从设计到跑通
理论讲完了，接下来进入实操环节。这一节我会带你从零搭建一个比基础版本更完善的CNN，包含批归一化、Dropout、学习率调度等进阶技巧，并解释每一个设计决策背后的理由。
3.1 网络结构设计：每一层为什么这样加
先给出完整的网络定义，然后逐层拆解：
import torch import torch.nn as nn import torch.nn.functional as F class AdvancedCNN(nn.Module): def __init__(self, num_classes=10): super(AdvancedCNN, self).__init__() # Block 1: 32x32 -> 16x16 self.conv1 = nn.Conv2d(3, 32, kernel_size=3, padding=1) self.bn1 = nn.BatchNorm2d(32) self.conv2 = nn.Conv2d(32, 32, kernel_size=3, padding=1) self.bn2 = nn.BatchNorm2d(32) self.pool1 = nn.MaxPool2d(2, 2) # Block 2: 16x16 -> 8x8 self.conv3 = nn.Conv2d(32, 64, kernel_size=3, padding=1) self.bn3 = nn.BatchNorm2d(64) self.conv4 = nn.Conv2d(64, 64, kernel_size=3, padding=1) self.bn4 = nn.BatchNorm2d(64) self.pool2 = nn.MaxPool2d(2, 2) # Block 3: 8x8 -> 4x4 self.conv5 = nn.Conv2d(64, 128, kernel_size=3, padding=1) self.bn5 = nn.BatchNorm2d(128) self.conv6 = nn.Conv2d(128, 128, kernel_size=3, padding=1) self.bn6 = nn.BatchNorm2d(128) self.pool3 = nn.MaxPool2d(2, 2) # 分类头 self.fc1 = nn.Linear(128 * 4 * 4, 256) self.dropout = nn.Dropout(0.5) self.fc2 = nn.Linear(256, num_classes) def forward(self, x): x = F.relu(self.bn1(self.conv1(x))) x = F.relu(self.bn2(self.conv2(x))) x = self.pool1(x) x = F.relu(self.bn3(self.conv3(x))) x = F.relu(self.bn4(self.conv4(x))) x = self.pool2(x) x = F.relu(self.bn5(self.conv5(x))) x = F.relu(self.bn6(self.conv6(x))) x = self.pool3(x) x = x.view(x.size(0), -1) x = F.relu(self.fc1(x)) x = self.dropout(x) x = self.fc2(x) return x这个结构的设计逻辑是这样的：每个Block里堆两个3×3卷积再池化，这是VGG网络验证过的经典模式。两个3×3卷积的感受野等价于一个5×5卷积，但参数量更少（2×3×3=18 vs 5×5=25），而且中间多了一次非线性激活，表达能力更强。
批归一化放在卷积之后、激活函数之前，这是标准做法。它的作用是稳定训练过程，允许你用更大的学习率，同时有一定的正则化效果。我实测下来，加上BN之后训练收敛速度大概能快30%到50%。
Dropout只加在全连接层之前，卷积层不加。原因是卷积层的参数共享本身就有正则化效果，再加Dropout反而可能影响特征提取。全连接层参数量大、容易过拟合，所以在这里加Dropout=0.5比较合适。
3.2 数据增强：小数据集上的救命稻草
如果你的训练集不够大，数据增强是必须的。PyTorch的torchvision.transforms提供了丰富的增强操作：
from torchvision import transforms train_transform = transforms.Compose([ transforms.RandomCrop(32, padding=4), transforms.RandomHorizontalFlip(), transforms.ColorJitter(brightness=0.2, contrast=0.2, saturation=0.2), transforms.ToTensor(), transforms.Normalize(mean=[0.4914, 0.4822, 0.4465], std=[0.2470, 0.2435, 0.2616]) ]) test_transform = transforms.Compose([ transforms.ToTensor(), transforms.Normalize(mean=[0.4914, 0.4822, 0.4465], std=[0.2470, 0.2435, 0.2616]) ])这里有几个细节值得展开。RandomCrop(32, padding=4)是先padding 4个像素再随机裁剪回32×32，相当于让图片在训练时产生平移。RandomHorizontalFlip是随机水平翻转，对于大多数自然图像分类任务是安全的，但如果你做的是文字识别或者有明确方向性的任务，就不要用。ColorJitter调整亮度、对比度、饱和度，让模型对颜色变化更鲁棒。
注意：测试时的transform绝对不能加任何随机操作，只能做ToTensor和Normalize。我见过有人把训练和测试的transform搞混，导致测试结果波动很大，排查了半天才发现问题。
Normalize的均值和标准差要用训练集统计出来的值。如果你用的是常见数据集，网上能查到标准值；如果是自己的数据，就自己算一遍。这个操作看起来不起眼，但不做的话训练会明显变慢。
3.3 训练循环中的关键细节
训练循环的代码框架大家应该都很熟悉了，我重点讲几个容易出问题的地方：
import torch.optim as optim from torch.optim.lr_scheduler import CosineAnnealingLR device = torch.device("cuda" if torch.cuda.is_available() else "cpu") model = AdvancedCNN(num_classes=10).to(device) criterion = nn.CrossEntropyLoss() optimizer = optim.SGD(model.parameters(), lr=0.1, momentum=0.9, weight_decay=5e-4) scheduler = CosineAnnealingLR(optimizer, T_max=200) for epoch in range(200): model.train() for inputs, labels in train_loader: inputs, labels = inputs.to(device), labels.to(device) optimizer.zero_grad() outputs = model(inputs) loss = criterion(outputs, labels) loss.backward() optimizer.step() scheduler.step() # 验证阶段 model.eval() correct = 0 total = 0 with torch.no_grad(): for inputs, labels in test_loader: inputs, labels = inputs.to(device), labels.to(device) outputs = model(inputs) _, predicted = outputs.max(1) total += labels.size(0) correct += predicted.eq(labels).sum().item() print(f"Epoch {epoch+1}, Acc: {100.*correct/total:.2f}%")优化器用SGD加动量，学习率0.1起步，配合余弦退火调度。这套组合在图像分类任务上非常经典，效果稳定。Adam虽然收敛快，但在最终精度上往往不如调好的SGD。weight_decay设为5e-4是常见值，相当于L2正则化。
学习率调度用CosineAnnealingLR，让学习率从0.1平滑地降到接近0。相比StepLR的阶梯式下降，余弦退火更平滑，通常能带来更好的最终精度。
验证阶段一定要加model.eval()和torch.no_grad()。前者把BN和Dropout切换到推理模式，后者关闭梯度计算节省显存。这两个如果漏掉任何一个，你的验证结果都会有问题。
4. 训练中那些让人抓狂的问题与排查思路
即使你把上面的代码一字不差地跑起来，也大概率会遇到各种问题。这一节我整理了几个最常见的情况和对应的排查方法。
4.1 Loss不下降或者变成NaN
这是最让人焦虑的情况。排查顺序建议如下：
第一步，检查学习率是不是太大了。把学习率降到0.001试试，如果loss开始下降，说明原来的学习率过大导致震荡。第二步，检查数据预处理有没有问题。比如Normalize的均值方差是否算错，标签有没有对错位。第三步，检查网络结构里有没有忘记加激活函数，或者BN层的位置放错了。
如果loss直接变成NaN，最常见的原因是学习率过大导致梯度爆炸，或者输入数据里有异常值。可以在训练循环里加一行torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm=5.0)做梯度裁剪，能有效防止NaN。
4.2 训练集精度很高但测试集精度很低
这是典型的过拟合。解决方案按优先级排列：增加数据增强的强度、增大Dropout比例、增大weight_decay、减少网络参数量、增加训练数据。如果这些都不管用，可以考虑用早停（Early Stopping），在验证集精度不再提升时停止训练。
我个人的经验是，在小数据集上，数据增强的效果通常比调网络结构更明显。与其花时间设计更复杂的网络，不如先把数据增强做扎实。
4.3 训练速度太慢
首先确认你有没有用GPU。如果用了GPU还是很慢，检查DataLoader的num_workers参数，设成4或者8通常能明显加快数据加载。另外，把pin_memory=True打开，能加速CPU到GPU的数据传输。
如果这些优化都做了还是慢，那可能是网络本身计算量太大。可以用torchsummary或者thop库统计一下模型的参数量和FLOPs，看看是不是某一层特别耗时。有时候把一个大卷积核拆成两个小卷积核，能在保持感受野的同时显著减少计算量。
5. 从进阶CNN到现代架构：下一步该往哪走
把这一节的内容吃透之后，你已经具备了理解和实现更复杂网络架构的基础。我简单梳理一下后续的学习路径，供你参考。
残差连接是必须掌握的。ResNet的核心思想是让网络学习残差映射而不是直接映射，解决了深层网络退化的问题。理解了这一点，你就能看懂ResNet、ResNeXt、DenseNet这一系列架构。
注意力机制是另一个重要方向。从SENet的通道注意力，到CBAM的空间加通道注意力，再到Transformer里的自注意力，本质都是在让网络学会“关注哪里”。这部分内容在Lecture后续应该会涉及。
轻量化网络设计也值得关注。MobileNet的深度可分离卷积、ShuffleNet的通道混洗，都是在精度和速度之间找平衡。如果你将来要把模型部署到移动端或者嵌入式设备上，这些知识是必备的。
最后说一个我自己的体会：学CNN最好的方式不是看视频或者读书，而是自己动手改网络、跑实验、看结果。你可以从上面这个AdvancedCNN出发，试着去掉BN看看效果变化，试着把ReLU换成LeakyReLU，试着调整Block的数量和通道数。每一次改动都会让你对CNN的理解更深一层。踩过的坑越多，你的直觉就越准。
