语义分割入门：抛开公式，用动画和代码图解FCN中的‘反卷积’与‘跳跃连接’到底在做什么-平芜编程栈

语义分割实战：用动画思维理解FCN中的反卷积与跳跃连接

当第一次接触语义分割时，我被那些能将图片中每个像素都精确分类的神经网络深深吸引。但真正让我困惑的是——网络如何从一张缩小的特征图恢复出与原图相同尺寸的预测结果？这就像看着魔术师从帽子里拉出一条似乎无限长的彩带。本文将用动画般的思维过程，配合PyTorch代码演示，带你直观理解FCN（全卷积网络）中两个最核心的机制：反卷积和跳跃连接。

1. 从图像分类到像素级理解

传统图像分类网络如VGG16，通过一系列卷积和池化层逐渐缩小图像尺寸，最后通过全连接层输出整个图像的类别预测。但当我们想要知道每个像素属于什么类别时（比如区分道路、车辆、行人），这种结构就显得力不从心了。

全卷积网络(FCN)的创新在于：

全卷积结构：用卷积层替代全连接层，使网络可以处理任意尺寸的输入
上采样操作：通过反卷积层逐步放大特征图
多级特征融合：利用跳跃连接结合不同深度的特征

# 传统CNN与FCN结构对比示意图 import torch.nn as nn # 传统CNN分类网络 class CNN(nn.Module): def __init__(self): super().__init__() self.features = nn.Sequential( nn.Conv2d(3, 64, 3), nn.ReLU(), nn.MaxPool2d(2), nn.Conv2d(64, 128, 3), nn.ReLU(), nn.MaxPool2d(2) ) self.classifier = nn.Sequential( nn.Linear(128*6*6, 256), # 固定尺寸的全连接层 nn.Linear(256, 10) ) # FCN语义分割网络 class FCN(nn.Module): def __init__(self): super().__init__() self.encoder = nn.Sequential( nn.Conv2d(3, 64, 3), nn.ReLU(), nn.MaxPool2d(2), nn.Conv2d(64, 128, 3), nn.ReLU(), nn.MaxPool2d(2) ) self.decoder = nn.Sequential( nn.ConvTranspose2d(128, 64, 3, stride=2), # 上采样 nn.ConvTranspose2d(64, 32, 3, stride=2) )

2. 反卷积：特征图的"放大镜"

反卷积(Deconvolution)更准确的叫法是转置卷积(Transposed Convolution)。它不是卷积的逆运算，而是一种特殊的正向卷积操作，可以实现特征图的上采样。

2.1 反卷积工作原理图解

想象你有一张小尺寸的橡皮泥浮雕（特征图），现在要把它放大：

间隔填充：在浮雕的每个元素周围插入空白区域（类似在像素间插入零值）
拉伸塑形：用卷积核像模具一样在拉伸后的浮雕上滑动，填充空白处
精细调整：通过训练学习最佳的"模具形状"（卷积核权重）

import torch # 输入2x2的小特征图 input = torch.tensor([[[[1., 2.], [3., 4.]]]]) # 定义转置卷积层：kernel_size=3, stride=2, padding=1 deconv = nn.ConvTranspose2d(1, 1, kernel_size=3, stride=2, padding=1) # 手动设置卷积核权重（实际训练中会自动学习） deconv.weight.data = torch.tensor([[[[1, 0, 0], [0, 1, 0], [0, 0, 1]]]], dtype=torch.float32) deconv.bias.data.fill_(0) output = deconv(input) print(output.shape) # 输出torch.Size([1, 1, 4, 4])

这个简单的例子展示了2x2输入如何通过转置卷积放大到4x4。实际FCN中，我们会用多层转置卷积逐步放大特征图。

2.2 反卷积与普通卷积的对比

特性	普通卷积	转置卷积
输入输出关系	下采样	上采样
数学关系	矩阵乘法	矩阵转置乘法
步长作用	控制滑动间隔	控制插入间隔
常见用途	特征提取	特征图放大

3. 跳跃连接：让细节不再丢失

单纯依靠反卷积上采样会导致细节信息丢失，就像过度压缩的JPEG图片放大后变得模糊。FCN通过跳跃连接(Skip Connection)解决了这个问题。

3.1 信息流动的"高速公路"

想象你在玩拼图：

高层特征：知道拼图整体是什么（比如是一栋房子）
低层特征：知道边缘和颜色细节（比如窗户的轮廓）

跳跃连接就像在拼图时同时参考完整图片和局部细节：

class FCNWithSkip(nn.Module): def __init__(self): super().__init__() # 编码器(下采样) self.conv1 = nn.Conv2d(3, 64, 3, padding=1) self.pool1 = nn.MaxPool2d(2) self.conv2 = nn.Conv2d(64, 128, 3, padding=1) self.pool2 = nn.MaxPool2d(2) # 解码器(上采样) self.deconv1 = nn.ConvTranspose2d(128, 64, 3, stride=2, padding=1) self.deconv2 = nn.ConvTranspose2d(64, 32, 3, stride=2, padding=1) def forward(self, x): # 下采样路径 x1 = self.pool1(nn.ReLU()(self.conv1(x))) # 保存第1层特征 x2 = self.pool2(nn.ReLU()(self.conv2(x1))) # 保存第2层特征 # 上采样路径 + 跳跃连接 y = self.deconv1(x2) y = nn.ReLU()(y + x1) # 与第1层特征融合 y = self.deconv2(y) return y

3.2 FCN的三种跳跃结构

FCN论文提出了三种不同精度的结构：

FCN-32s：仅使用最深层的特征，上采样32倍
FCN-16s：融合深层和中间层特征，上采样16倍
FCN-8s：融合三层特征，上采样8倍（效果最好）

实验表明，融合更多浅层特征的FCN-8s能保留更多细节，分割边界更精确。

4. 完整FCN实战：从理论到代码

现在我们将实现一个完整的FCN-8s网络，使用预训练的VGG16作为编码器。

4.1 网络架构详解

class FCN8s(nn.Module): def __init__(self, pretrained_net, n_class): super().__init__() self.n_class = n_class self.pretrained_net = pretrained_net # 定义额外的卷积层替代全连接层 self.conv6 = nn.Conv2d(512, 512, kernel_size=1) self.conv7 = nn.Conv2d(512, 512, kernel_size=1) # 定义上采样层 self.deconv1 = nn.ConvTranspose2d(512, 512, kernel_size=3, stride=2, padding=1, output_padding=1) self.deconv2 = nn.ConvTranspose2d(512, 256, kernel_size=3, stride=2, padding=1, output_padding=1) self.deconv3 = nn.ConvTranspose2d(256, 128, kernel_size=3, stride=2, padding=1, output_padding=1) # 最终分类层 self.classifier = nn.Conv2d(128, n_class, kernel_size=1) def forward(self, x): # 获取VGG16各阶段特征 features = self.pretrained_net(x) pool3 = features['x3'] # 1/8尺寸 pool4 = features['x4'] # 1/16尺寸 pool5 = features['x5'] # 1/32尺寸 # 上采样路径 x = F.relu(self.conv6(pool5)) x = F.relu(self.conv7(x)) x = self.deconv1(x) # 放大到1/16 x = x + pool4 # 第一次跳跃连接 x = self.deconv2(x) # 放大到1/8 x = x + pool3 # 第二次跳跃连接 x = self.deconv3(x) # 放大到原图尺寸 x = self.classifier(x) return x

4.2 训练技巧与可视化

训练FCN时需要注意：

预训练编码器：通常冻结VGG16的前几层参数
学习率策略：解码器部分使用更大的学习率
损失函数：像素级交叉熵损失

# 训练过程示例 def train(): # 加载预训练VGG vgg = VGGNet(pretrained=True) model = FCN8s(vgg, n_class=21).cuda() # 不同部分使用不同学习率 optimizer = optim.SGD([ {'params': model.pretrained_net.parameters(), 'lr': 1e-4}, {'params': model.conv6.parameters(), 'lr': 1e-3}, {'params': model.conv7.parameters(), 'lr': 1e-3}, {'params': model.deconv1.parameters(), 'lr': 1e-3}, # ...其他层 ], momentum=0.9) # 训练循环 for epoch in range(100): model.train() for images, masks in train_loader: outputs = model(images.cuda()) loss = criterion(outputs, masks.cuda()) optimizer.zero_grad() loss.backward() optimizer.step() # 验证和可视化 visualize_predictions(images, outputs, masks)