简介：面向深度学习图像分割方向的学习者，这份FCN实战资源提供了从任意尺寸图像输入、特征图反卷积上采样到逐像素分类预测的完整流程，可帮助快速理解全卷积网络相对经典CNN的核心设计，并直接用于课程设计、算法对比或工程实践。压缩包约335MB，内含约2000个文件，其中以XML标注数据与PNG/JPG图像为主，配合Python训练评估脚本及JSON类别配置文件，目录结构清晰，便于按需取用。目前已有1533人学习下载，适合作为语义分割算法入门和对比实验的参考材料。包内除标准的训练、验证与预测代码外，还包含自定义数据集封装、分布式训练支持及可视化调色板配置等实用模块。学习者既能复现现成流程，也能基于现有框架替换数据或调整网络结构，向更多分割任务灵活扩展。
1. FCN 是什么：把分类网络改成像素级分类的网络骨架
你手里拿到的目标检测结果往往是一串方框，但到了遥感地物分割、医学影像器官勾画、工业缺陷分割这类任务上，客户要的不是“这里有一个目标”，而是“这个目标的边界精确到像素”。这时 FCN（全卷积网络）就是入行语义分割绕不开的第一课：它把 VGG 这类分类网络的最后几层全连接全部扔掉，替换成卷积层，让网络输出一张和输入同尺寸的像素级类别图。这个 zip 里的内容，本质就是一套“从分类网络改造成分割网络”的最小可跑工程，顺着它的代码把语义分割链路过一遍，你就能理解后来所有分割模型（U-Net、DeepLab、SegNet）到底在 FCN 的基础上改了什么。
适合谁？准备做遥感图像语义分割、医学影像标注、质检缺陷分割的从业者，尤其是那种“手上只有几百张图、想先用一个成熟基线跑通流程”的团队。在投入更大模型之前，用 FCN 先建立完整的数据、训练、评估闭环，是性价比最高的一步。
2. FCN 架构核心：为什么把全连接替换成卷积是语义分割的前提
2.1 全卷积化的真正含义：从一维向量到二维热图
普通分类网络最后接全连接层，输出是一个 1000 维向量；FCN 把这个向量对应的那组全连接层全部改成 1x1 卷积，输出变成了一张通道数为类别数的二维热图，每个空间位置都保留了“属于哪个类”的响应。这样网络就不再是全局池化后的“整体判断”，而是每个像素都有独立的分类响应。
这个改动带来一个副产品：网络可以接受任意尺寸的输入。分类网络因为全连接层的输入维度固定，输入图片必须 resize 到统一尺寸；全卷积化之后没有固定长度的全连接存在，输入尺寸就自由了。你后续做遥感大图切片推理时，这个特性是刚需。
VGG 的卷积层输出经过五次池化后，空间分辨率压缩到原来的 1/32。想要输出和原图等大的分割图，必须把这种低分辨率特征图“拉”回来。FCN 的答案是转置卷积（也叫反卷积），输出通道数为类别数，步长 32，直接上采样回原图尺寸。这个结构在代码里通常长这样：
score = nn.Conv2d(512, num_classes, kernel_size=1)(pool5) # 1x1卷积把通道压成类别数 up_score = nn.ConvTranspose2d(num_classes, num_classes, kernel_size=64, stride=32, padding=16)转置卷积的 kernel_size、stride、padding 三者不是随便填的：输出尺寸等于(输入尺寸-1)*stride - 2*padding + kernel_size。你把输入 16x16、stride=32、padding=16、kernel=64 代入，能得到 512x512，这是配合 VGG 五次下采样（每次缩一半）的标准回推组合。改输入尺寸的时候，这三个参数必须跟着重新算，否则上采样后尺寸不匹配，训练直接报错。
2.2 上采样不是简单“放大”：转置卷积与双线性插值的取舍
转置卷积和双线性插值在 FCN 里都出现在上采样环节，但角色完全不同。双线性插值是确定性的——不需要学习，按距离权重把低分辨率图放大；转置卷积自带卷积核参数，理论上能学出更精细的上采样行为。FCN 原版论文的实验结论是：直接用双线性插值初始化转置卷积核，然后跟着训练微调，效果是好于单纯放大的。
但在实际训练里，转置卷积有它的脾气。如果 stride 不能整除输入输出尺寸关系，会在特征图上产生重叠区域不均匀的问题，俗称“棋盘格效应”——特征图某些位置被多次写入，某些位置写入稀疏。你如果发现自己训练完的分割图在高频纹理区域有细密的网格状伪影，优先查这个。
# 用双线性插值初始化转置卷积核，避免从零学产生过度震荡 def init_upsample_bilinear(convT, scale_factor=32): kernel_size = convT.kernel_size[0] center = (kernel_size - 1) / 2.0 og = np.ogrid[:kernel_size, :kernel_size] filt = (1 - abs(og[0] - center) / scale_factor) * (1 - abs(og[1] - center) / scale_factor) convT.weight.data.copy_(torch.from_numpy(filt.astype(np.float32)).unsqueeze(0).unsqueeze(0))这段初始化做的事情是：把转置卷积核的初始值设成标准的双线性插值权重，让网络训练开始时的上采样行为等同于双线性放大，再靠后续梯度慢慢微调。手动初始化一个 stride=32 的转置卷积核时，scale_factor要对应这个 stride 值，否则初始权重分布就不对。
2.3 FCN 三兄弟：FCN-32s、FCN-16s、FCN-8s 的跳跃结构怎么选
FCN 论文给出了三个版本，差别只在跳跃结构的深度。FCN-32s 直接对 pool5 特征做 32 倍上采样输出，边界最粗糙。FCN-16s 把 pool4 的特征和 pool5 上采样后的特征逐元素相加，再上采样 16 倍；FCN-8s 再加一层 pool3 的融合，输出更精细。你打开 zip 里的代码大概率会看到model.upscore2,model.upscore4这些层的命名，这就是跳跃结构的具体落点。
实际经验是：FCN-16s 和 FCN-8s 之间选的时候，优先 8s。16s 到 8s 增加的显存和计算量非常有限，但对细小目标的召回率提升明显。如果任务以遥感图像语义分割为主，建筑物、道路边界就是靠这种细节恢复能力，别省这一层。
pool4 = self.features[:24](x) # 第 4 次池化后的特征 pool5 = self.features[24:](pool4) # 第 5 次池化后的特征 score_pool4 = self.score_pool4(pool4) # 1x1卷积，通道压缩到num_classes score_pool5 = self.upscore2(pool5) # 2倍上采样 score_fused = score_pool4 + score_pool5[:, :, :score_pool4.size(2), :score_pool4.size(3)] score_fused = self.upscore8(score_fused) # 8倍上采样回原图尺寸注意score_pool4 + score_pool5这句：上采样后两边的宽高必须完全一致才能相加。实际由于池化层对奇数尺寸输入会“丢一个像素”，上采样结果偶尔和 pool4 差 1-2 个像素，代码里用切片把它们对齐。你在改代码适配自己的数据尺寸时，这个对齐逻辑千万不能删，删了直接 shape mismatch。
3. FCN 数据准备与标签处理：从普通分类数据到逐像素标注
3.1 预训练权重接得上：数据通道与归一化参数对齐
FCN 的骨架几乎都是 VGG16，这个选择是刻意的——VGG 在 ImageNet 上的预训练权重能直接带进 FCN 的卷积部分，这让语义分割任务不需要从零训练底层特征。但这里有个隐藏前提：预训练权重训练时用的图像归一化参数，你必须在自己的数据加载器里原样复刻。
VGG 预训练权重的标准做法是：先将 RGB 图像每个通道减去均值，多数实现里是mean = [0.485, 0.456, 0.406]，std 用[0.229, 0.224, 0.225]。如果你的数据加载器只做了像素值除以 255，没有做标准化，VGG 底层卷积的响应分布和预训练时完全不一致，训练初期 loss 会降得非常慢，甚至根本不降——很多人第一个翻车点就在这里。
transform = transforms.Compose([ transforms.ToTensor(), transforms.Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225]), ]) transform_label = transforms.Compose([ transforms.ToTensor(), # 标签图转成Tensor，不缩放像素值 ])训练数据用第一套 transform，标签图用第二套。标签图不能做标准化，否则类别 ID 被改掉，损失函数完全算错。你如果在代码注释里看到“标签不做 Normalize”这样的提醒，就是这个原因。
3.2 标签编码：类别 ID 与调色板、hdist 语义分割标签的坑
语义分割的标签图通常是一张 PNG，但它的像素值含义和自然图像完全不同：像素值就是类别 ID。比如背景是 0，建筑是 1，道路是 2。但很多标注工具导出的标签图不是这种“类别索引”格式，而是带调色板的索引 PNG——像素值是调色板索引，真实类别存在颜色映射关系里，直接读像素值会得到一堆奇怪的数字。
hdist 这类语义分割标签格式最典型的问题就是调色板不一致：同一个语义类别在不同图上被映射到不同颜色。你拿到这类数据时，第一步不是训练，而是先写脚本把所有标签图的调色板统一，或者把自定义颜色映射到固定类别 ID。漏掉这一步，训练时 loss 会在某个值附近震荡，看起来像“在收敛”但 mIoU 永远上不去，实际上是被类别错位喂了毒数据。
# 统一标签类别：把调色板映射到固定类别ID，并按类别重新编码 palette = np.array([[0, 0, 0], [128, 0, 0], [0, 128, 0], [0, 0, 128]]) # 背景/建筑/道路/植被 label_indices = np.zeros((h, w), dtype=np.int64) for cls_id, color in enumerate(palette): mask = np.all(np.array(img_pil.convert("RGB")) == color, axis=-1) label_indices[mask] = cls_id类别 ID 必须从 0 开始连续编号，因为交叉熵损失的类别索引从 0 起算，中间缺类会让某些类别被错误映射。遥感图如果有“阴影”“云遮挡”这类不参与训练的标签，一般约定设为 255，并在损失计算里用ignore_index=255跳过，而不是给它单独一个类别。
3.3 小数据集加载器：原始图与标签图必须同一套变换
训练分割模型的经典新手错误是：给原始图和标签图分别写了 transform，一个做了随机翻转和裁剪，另一个没有，或者随机种子不一致，导致图和标签的空间位置对不上。这个 bug 非常隐蔽，因为图像看起来“好像对得上”，实际上每个像素的类别都被平移了几个像素，mIoU 直接掉十几个点。
正确做法是：用一个带随机种子的函数统一处理两张图。遥感图上如果有旋转增强、水平翻转、随机裁剪，图和标签必须完全相同地做，否则等于人为制造错误标注。对 FCN 这类对边界敏感的网络，这一点比调学习率重要得多。
def train_transforms(image, label, crop_size=(512, 512)): # 同一个随机种子，保证图和标签的空间变换完全一致 seed = random.randint(0, 2**31) random.seed(seed) image = random_crop(image, crop_size) random.seed(seed) label = random_crop(label, crop_size) # 图上翻转时，标签也要同一个方向翻转 if random.random() > 0.5: image = image.transpose(Image.FLIP_LEFT_RIGHT) label = label.transpose(Image.FLIP_LEFT_RIGHT) return image, label你注意这里的细节：每次操作前重设同一个seed，这是把“一张图多个随机变换”变成“两张图同步变换”的标准手段。很多开源代码库用torchvision.transforms做数据增强，但它不保证多张图共享同一套随机变换，所以分割任务里最常见的加载器实现是自写的，别偷懒直接用现成分类增强库。
4. 用 PyTorch 复现 FCN：模型搭建、损失函数与训练参数
4.1 FCN-8s 最小可跑代码：VGG 骨架冻结与微调的设置
以你在 zip 里大概率看到的 FCN-8s 为例，关键问题不是“怎么搭网络”，而是“预训练骨架怎么接”。VGG16 的特征层在torchvision.models.vgg16_bn(pretrained=True).features里，直接取这个 list 的前 24 层作为骨干即可。要不要冻结？我的经验是：前两段卷积可以冻结，后面三段和上采样层必须放开训练，因为越深的层越负责语义信息，分割任务需要它们适配新的类别分布。
vgg = models.vgg16_bn(pretrained=True).features for param in vgg[:10].parameters(): # 前两段池化之前的层冻结 param.requires_grad = False冻结前两层能显著省显存，但对微调精度基本无损。如果你的显存非常紧张，把冻结范围扩展到前 17 层也问题不大；但千万不要把 24 层全部冻结，只训上采样层——这样分割头是随机初始化的，而它接受的语义信息来自完全没适配的深层特征，结果是边界一团糟。
4.2 损失函数选型：交叉熵与类别权重的设置
语义分割的默认损失就是逐像素交叉熵，PyTorch 里直接调nn.CrossEntropyLoss，它会自动把网络输出（B, C, H, W）在通道维做 softmax，和标签（B, H, W）逐像素比较。这里三个参数值得专门调：ignore_index、weight、reduction。
ignore_index对应标签中不需要参与训练的像素值（比如遥感图像里的云遮挡、阴影、未标注区域），设置后这些位置的梯度被直接置零。weight是类别权重，对像素占比极小的目标类别从 1 往上加。遥感图像语义分割里建筑物往往只占不到 5% 的像素，不给权重的话，模型会策略性地把所有像素都预测成背景，mIoU 看起来 80%，实际对前景目标完全失效，损失曲线则几乎不动。
criterion = nn.CrossEntropyLoss(ignore_index=255, weight=class_weights)class_weights怎么算？简单做法是统计训练集每个类别的像素占比，取倒数再归一化。如果你想要更稳的权重，用中位数频率平衡（median frequency balancing），它能避免某个超大类别的倒数把其他类别的权重压得太小。
4.3 训练参数抄作业：学习率、动量、batch 的实战起点
FCN 训练有三个参数直接影响能不能收敛，比网络结构本身更值得上心。第一个是学习率：用 VGG 预训练骨架时，全卷积部分微调建议 lr=1e-3，而随机初始化的上采样层（上采样部分）需要更大的学习率，常见做法是令头部 lr=1e-2。第二个是动量：momentum=0.9，nesterov=False 就够，不要开 nesterov；第三个是 batch size，语义分割的输入尺寸动辄 512x512，显存紧张，batch 一般 4-8 之间。
optimizer = torch.optim.SGD([ {"params": vgg_features.parameters(), "lr": 1e-3}, {"params": upscore_layers.parameters(), "lr": 1e-2}, ], momentum=0.9, weight_decay=1e-4)学习率策略直接用多项式衰减（poly），而不是按 epoch 阶梯下降。这几乎是所有分割模型的标配：lr = base_lr * (1 - iter / max_iter)^power，power 一般取 0.9。因为分割数据本身空间信息密集，后期需要极其细碎的学习率微调，poly 比 step 天然更适合。
5. FCN 语义分割训练避坑：五个高频翻车现场与排查手段
5.1 标签值是 255 导致 loss 为 nan
现象：训练第一个 iteration 就出 nan，终止训练。查看标签图发现背景区域大量像素值是 255 或负数。
原因：交叉熵损失的类别索引是非负整数，如果标签像素值范围不是你设置的类别数区间，比如出现了 255，在没有设置 ignore_index 的情况下，损失函数在 softmax 输出里对索引 255 做 log 运算，得到错误值。
解决：训练代码里显式传ignore_index=255，同时数据加载时把标签做一次torch.clamp(label, min=0)，确保非 255 区间的异常负值被收敛到 0。
5.2 双线性初始化转置卷积后，输出尺寸永远差 1-2 个像素
现象：上采样后特征图尺寸和标签对不上，训练时报 shape mismatch。
原因：转置卷积的输出尺寸计算，在输入尺寸为奇数时会出现“舍入”。VGG 网络里 224/2^5=7，如果你的输入不是标准的 224 序列，最后 pool5 的尺寸是奇数，上采样回来就会差像素。切片对齐是一种解法，但在数据加载器里强制统一输入尺寸是更干净的办法。
解决：所有训练样本 pre-resize 到同一个尺寸再喂网络，例如统一 reszie 到 512 的长边再随机裁剪到 512x512。这样网络输入的 H、W 恒定，上面那个 2.3 节的切片对齐基本不会触发。
5.3 漏掉 VGG 预训练时的标准化，loss 一直不降
现象：训练 10 个 epoch loss 仍在 0.9 左右波动，验证集 mIoU 不足 0.1，和随机初始化差不多。
原因：VGG 预训练权重是在标准化后的数据上收敛的，你的输入数据像素范围是 [0, 255] 而不是均值归一化后的分布，底层卷积输出全偏到激活函数饱和区，梯度无法有效回传。
解决：参考 3.1 节的transforms.Normalize补上，确认mean和std与预训练实现一致。如果用了 ImageNet 预训练权重，这三个数基本固定，自己瞎改成别的值也会同样不收敛。
5.4 背景类占比超过 95%，mIoU 虚高但实际效果极差
现象：训练完成后 mIoU 显示 0.85，但可视化分割图发现建筑物、道路等目标类别几乎全部被吞成背景。
原因：语义分割的 PA（像素精度）和 mIoU 有本质区别。PA 只看正确预测像素占比，背景占绝大多数时，模型“全预测成背景”就能拿到 0.95 的 PA。mIoU 需要逐类计算 IoU 再取平均，但 0.85 的 mIoU 也可能是背景类 IoU 1.0、目标类 IoU 0.3 平均出来的。你看 mIoU 时必须同时看每个类别的 IoU，或者直接看验证集的可视化输出。
解决：引入类别权重class_weights重新训练；同时训练日志里记录每个类别的 IoU，不要只看 aggregate 指标。
5.5 小 batch + BatchNorm 导致验证集效果抖动严重
现象：训练 loss 稳定下降，但每 5 个 epoch 验证一次，mIoU 忽高忽低，最高和最低差 10 个点以上。
原因：BatchNorm 在 batch size 很小（比如 2 或 4）时，统计均值方差噪声大，导致模型内部每轮训练“抖动”。FCN 骨干是 VGG 的vgg16_bn版本时尤其常见。
解决：优先把 batch size 提到 8 以上。显存不够就在数据加载器里用更小的输入尺寸，不要硬撑。如果 batch 确实提不上去，把骨干从vgg16_bn换成不带 BN 的vgg16，这个版本在医疗影像和遥感小数据集上反而更稳定。
6. 验证与提升：评估不只看 mIoU，先学会一个“能看懂”的指标
常见评估有两套：PA 和 mIoU。PA 是全局正确率，容易被背景类带偏；mIoU 逐类计算交集除以并集，对类别不平衡更敏感。但真正评估一个模型能不能用，我通常会把验证集上每张图的分割结果和原图叠在一起保存，肉眼扫一遍——不是因为“玄学”，而是 mIoU 在个别类上接近 0 的时候，均值依然能凑到 0.7 以上，只有可视化能把这类问题暴露出来。
FCN 的常见提升路线，第一步是“多尺度推理”：把输入图像缩放到 0.75 倍和 1.25 倍各预测一次，再把三张预测概率图直接平均。这个操作不改变任何参数，只增加推理时间，边界质量有明显改善，是分割任务的“后悔药”级无成本技巧。第二步才是换网络结构，U-Net 的编码解码结构、DeepLab 的空洞卷积，都建立在把 FCN 这套数据链路和评估方法完全跑通之后。
我自己的习惯是：任何新数据集到手第一天，不管用什么分割模型，先用 FCN 小跑 20 个 epoch，做一版低精度基线。这个基线能告诉你数据的标注质量、类不平衡程度、网络收敛速度，这些信息比直接上大模型的收益高得多。如果基线在验证集上完全不可用，那大概率是数据问题，不是模型问题，换了更好的网络也白搭。
这个 zip 里的工程虽然是最基础的 FCN-8s，但胜在链路完整——数据加载、模型搭建、训练、评估一应俱全，正是你拿来做“20 epoch 快速摸底”的最小工具集。用它把一个新数据集跑通一遍，你就知道自己面对的是“网络不够强”还是“数据不够干净”，心里有数之后，再考虑要不要往 DeepLab、SegFormer 方向迁移。希望帮到你。
本文还有配套的精品资源，点击获取
