简介：HED_edgeDetect 是一份面向计算机视觉初学者与深度学习实践者的边缘检测资源包，围绕 HED（Hypercolumns for Edge Detection）这一基于卷积神经网络的端到端边缘检测方法展开，可用于理解多尺度特征融合、预训练与微调两阶段训练流程，并直接对图像进行边缘预测。压缩包为 rar 格式，共 3 个文件，整体约 2KB，包含 1 个 Python 脚本、1 个 prototxt 网络结构定义文件与 1 个 sh 预训练权重下载脚本，分别对应推理代码、模型部署配置与权重获取环节，结构精简，便于快速上手。目前已有 1240 人学习下载，说明该资源在边缘检测入门实践中具有一定参考价值。借助这份资料，读者可以加载预训练模型完成图像边缘检测，也可在此基础上调整参数、替换数据集以适配特定场景，同时结合代码理解 HED 从粗到细的边缘捕获机制，为后续研究或工程应用提供可复用的起点。
1. HED 边缘检测：为什么它比 Canny 更适合深度学习流水线
如果你做过传统图像处理，大概率写过 Canny：高斯滤波、Sobel 求梯度、非极大值抑制、双阈值滞后连接，一套下来边缘是有了，但阈值调起来像玄学，换一张光照不同的图就得重来。HED（Holistically-Nested Edge Detection）换了个思路——用深度学习把边缘检测变成一个端到端的像素级二分类问题，输入原图，输出一张概率边缘图，不再需要手工设阈值。
这个方案适合谁？做图像分割预处理、工业缺陷检测、遥感地物提取、医学影像轮廓勾画的从业者，尤其是已经在用 PyTorch 或 TensorFlow 搭模型、想把边缘检测模块嵌进现有流水线的人。它解决的核心痛点是：传统算子对噪声和光照敏感、参数不可学习、多尺度边缘融合靠人工设计。HED 用 VGG16 做骨干，在五个阶段各接一个侧输出层，最后融合成一张精细边缘图，训练时用加权交叉熵处理正负样本极度不平衡的问题。下面从原理到代码，把这条路径拆开讲清楚。
2. HED 的网络结构与多尺度侧输出机制
2.1 为什么选 VGG16 做骨干而不是 ResNet
HED 原论文用的是 VGG16，不是因为它精度最高，而是因为它的结构规整——五个卷积块，每块后面接池化，特征图尺寸依次减半，天然形成五个尺度。边缘检测需要同时捕捉粗轮廓和细纹理：浅层特征图分辨率高，能定位像素级边缘；深层特征图感受野大，能判断这个边缘是不是语义上有意义的边界。ResNet 的残差连接虽然训练更稳，但跳跃连接会让侧输出的特征提取变得不那么直接，需要额外设计旁路。我一般会建议：如果你只是复现 HED 做边缘检测，VGG16 足够；如果你要把边缘检测作为多任务学习的一个分支，那用 ResNet 或 EfficientNet 做共享骨干更划算。
VGG16 的五个卷积块输出通道分别是 64、128、256、512、512。HED 在每个块的最后一个卷积层后面接一个侧输出分支，结构是：卷积核 1×1、输出通道 1、然后上采样到原图尺寸。五个侧输出各自算损失，最后用一个融合层（通常是 1×1 卷积或加权求和）合并成最终输出。这种深监督（deep supervision）的设计让浅层侧输出也能收到梯度，不会因为链太长而梯度消失。
2.2 侧输出层的具体实现与参数设置
侧输出层的代码不复杂，但有几个参数容易翻车。下面是我常用的 PyTorch 实现片段：
import torch import torch.nn as nn import torch.nn.functional as F from torchvision import models class HEDSideOutput(nn.Module): def __init__(self, in_channels, mid_channels=16): super().__init__() # 先降维再输出，减少参数量，避免过拟合 self.conv1 = nn.Conv2d(in_channels, mid_channels, 1) self.conv2 = nn.Conv2d(mid_channels, 1, 1) self.relu = nn.ReLU(inplace=True) def forward(self, x, target_size): x = self.relu(self.conv1(x)) x = self.conv2(x) # 双线性上采样到原图尺寸，不用转置卷积避免棋盘伪影 x = F.interpolate(x, size=target_size, mode='bilinear', align_corners=False) return x class HED(nn.Module): def __init__(self): super().__init__() vgg = models.vgg16(pretrained=True).features # 按 VGG16 的池化位置切分五个阶段 self.stage1 = vgg[:4] # conv1_1, conv1_2, pool1 前 self.stage2 = vgg[4:9] # conv2_1, conv2_2 self.stage3 = vgg[9:16] # conv3_1~3 self.stage4 = vgg[16:23] # conv4_1~3 self.stage5 = vgg[23:30] # conv5_1~3 self.side1 = HEDSideOutput(64) self.side2 = HEDSideOutput(128) self.side3 = HEDSideOutput(256) self.side4 = HEDSideOutput(512) self.side5 = HEDSideOutput(512) # 融合层：把五个侧输出拼接后做 1x1 卷积 self.fuse = nn.Conv2d(5, 1, 1) def forward(self, x): size = x.shape[2:] f1 = self.stage1(x) f2 = self.stage2(f1) f3 = self.stage3(f2) f4 = self.stage4(f3) f5 = self.stage5(f4) s1 = self.side1(f1, size) s2 = self.side2(f2, size) s3 = self.side3(f3, size) s4 = self.side4(f4, size) s5 = self.side5(f5, size) # 拼接五个侧输出，融合成最终边缘图 fused = self.fuse(torch.cat([s1, s2, s3, s4, s5], dim=1)) return [s1, s2, s3, s4, s5], fused逻辑说明：HEDSideOutput先用 1×1 卷积把通道降到 16，再降到 1，这样比直接 1×1 从 512 降到 1 更稳，参数量从 512 降到 512×16+16，虽然多了但训练更平滑。上采样用bilinear而不是ConvTranspose2d，因为转置卷积在边缘检测里容易产生棋盘格伪影，边缘图会多出周期性噪声。align_corners=False是 PyTorch 的推荐设置，避免尺寸对齐时的偏移。
参数说明：mid_channels默认 16，如果数据集小（少于 1000 张）可以降到 8；如果边缘特别细（比如遥感影像里的道路），可以升到 32。融合层用 1×1 卷积而不是直接相加，是因为五个侧输出的数值范围可能不一致，1×1 卷积可以学习加权系数。训练时五个侧输出和融合输出都算损失，推理时只用融合输出。
2.3 损失函数：加权交叉熵与正负样本不平衡
边缘检测有个天然问题：一张图里边缘像素通常只占 5% 到 10%，剩下全是背景。如果用普通交叉熵，模型会倾向于全预测背景，准确率看着高但边缘全丢。HED 原论文用了加权交叉熵，正样本（边缘）权重高，负样本权重低。具体实现：
def hed_loss(preds, fused, target, pos_weight=10.0): # preds: 五个侧输出的列表，fused: 融合输出 # target: 二值边缘图，1 表示边缘，0 表示背景 criterion = nn.BCEWithLogitsLoss(pos_weight=torch.tensor([pos_weight])) loss = 0.0 for p in preds: loss += criterion(p, target) loss += criterion(fused, target) return loss / (len(preds) + 1)pos_weight=10.0是经验值，意思是正样本的损失权重是负样本的 10 倍。如果你的数据集边缘特别稀疏（比如只占 2%），可以调到 20；如果边缘较粗（占 15% 以上），降到 5 也行。注意BCEWithLogitsLoss内部已经做了 sigmoid，所以模型输出不要加 sigmoid 层，否则会双重激活导致梯度消失。我见过有人在这里翻车，训练 loss 一直不降，查了半天发现是模型里多写了一个nn.Sigmoid()。
提示：
pos_weight不是越大越好。设成 50 以上时，模型会疯狂预测边缘，背景区域出现大量假阳性，边缘图看起来像雪花屏。建议从 10 开始，根据验证集上的 F1 分数微调。
3. 从 BSDS500 数据到可训练 HED 的完整流程
3.1 数据准备：BSDS500 的标注格式与转换
BSDS500 是边缘检测的经典数据集，500 张自然图像，每张有 5 到 10 个人工标注的边缘图。原始标注是 MATLAB 的.mat格式，每个像素的值是多个标注者投票的比例，范围 0 到 1。训练 HED 时需要把它转成二值图：通常取阈值 0.5，大于 0.5 算边缘，否则算背景。转换脚本如下：
import scipy.io as sio import numpy as np import cv2 import os def mat_to_binary(mat_path, save_path, threshold=0.5): # BSDS500 的 groundTruth 结构：groundTruth[0][0][0] 是边界图 mat = sio.loadmat(mat_path) gt = mat['groundTruth'] # 取第一个标注者的边界图，也可以取平均 boundary = gt[0][0][0][0][0] # 形状 (H, W)，值域 0~1 binary = (boundary > threshold).astype(np.uint8) * 255 cv2.imwrite(save_path, binary) # 批量转换 root = 'BSDS500/data/groundTruth/train' save_root = 'BSDS500/edges/train' os.makedirs(save_root, exist_ok=True) for f in os.listdir(root): if f.endswith('.mat'): mat_to_binary(os.path.join(root, f), os.path.join(save_root, f.replace('.mat', '.png')))逻辑说明：gt[0][0][0][0][0]这个索引看起来吓人，是因为 MATLAB 的嵌套结构在 scipy 里变成了多层数组。实际调试时可以先print(gt.shape)和print(gt[0][0].shape)确认。取第一个标注者还是取平均？我一般取平均后再二值化，这样边缘更稳定，不会因为某个标注者的偏好导致边缘偏移。平均的写法是np.mean([gt[0][i][0][0][0] for i in range(gt.shape[1])], axis=0)。
参数说明：threshold=0.5是常用值，如果你希望边缘更细，可以提到 0.7；如果希望召回更多边缘，降到 0.3。但注意训练时目标图太细会导致正样本过少，pos_weight要相应调大。
3.2 训练循环与学习率策略
HED 的训练和普通分割网络类似，但有几个细节：VGG16 骨干用预训练权重初始化，侧输出层随机初始化。学习率用分段衰减，初始 1e-3，每 10 个 epoch 降 10 倍。优化器用 SGD 动量 0.9，比 Adam 更稳，因为边缘检测对权重更新幅度敏感，Adam 的自适应学习率容易在后期震荡。
import torch.optim as optim from torch.utils.data import DataLoader model = HED().cuda() # 骨干用预训练权重，学习率小一些；侧输出层学习率大一些 backbone_params = list(model.stage1.parameters()) + list(model.stage2.parameters()) + \ list(model.stage3.parameters()) + list(model.stage4.parameters()) + \ list(model.stage5.parameters()) side_params = list(model.side1.parameters()) + list(model.side2.parameters()) + \ list(model.side3.parameters()) + list(model.side4.parameters()) + \ list(model.side5.parameters()) + list(model.fuse.parameters()) optimizer = optim.SGD([ {'params': backbone_params, 'lr': 1e-4}, {'params': side_params, 'lr': 1e-3} ], momentum=0.9, weight_decay=5e-4) scheduler = optim.lr_scheduler.StepLR(optimizer, step_size=10, gamma=0.1) for epoch in range(30): model.train() for img, edge in train_loader: img, edge = img.cuda(), edge.cuda() preds, fused = model(img) loss = hed_loss(preds, fused, edge) optimizer.zero_grad() loss.backward() optimizer.step() scheduler.step() # 每个 epoch 后在验证集上算 F1 model.eval() with torch.no_grad(): # 验证逻辑省略，核心是取 fused 输出，阈值 0.5 二值化后算 F1 pass逻辑说明：骨干学习率 1e-4，侧输出 1e-3，是因为骨干已经预训练好了，只需要微调；侧输出是随机初始化的，需要更快学习。weight_decay=5e-4是 VGG 系列常用的正则化强度，如果你发现过拟合严重（训练 F1 远高于验证 F1），可以提到 1e-3。StepLR每 10 个 epoch 降 10 倍，30 个 epoch 足够收敛。BSDS500 只有 200 张训练图，数据增强很关键：随机裁剪 256×256、水平翻转、颜色抖动，能把有效数据量扩大 10 倍以上。
3.3 推理与后处理：从概率图到二值边缘
模型输出的是 logits，经过 sigmoid 后得到 0 到 1 的概率图。推理时不需要五个侧输出，只用融合输出。后处理有两个关键步骤：非极大值抑制（NMS）和阈值化。NMS 是为了让边缘变细，因为模型输出的边缘往往有 2 到 3 像素宽。简单做法是沿梯度方向做局部极大值抑制，但更实用的方法是：先阈值化，再用形态学细化（cv2.ximgproc.thinning）。
import cv2 import numpy as np import torch def infer(model, img_path, threshold=0.5): model.eval() img = cv2.imread(img_path) img_rgb = cv2.cvtColor(img, cv2.COLOR_BGR2RGB) # 标准化，和训练时一致 mean = np.array([0.485, 0.456, 0.406]) std = np.array([0.229, 0.224, 0.225]) inp = (img_rgb / 255.0 - mean) / std inp = torch.from_numpy(inp).permute(2, 0, 1).float().unsqueeze(0).cuda() with torch.no_grad(): _, fused = model(inp) prob = torch.sigmoid(fused).squeeze().cpu().numpy() # 阈值化 binary = (prob > threshold).astype(np.uint8) * 255 # 细化，让边缘变单像素宽 binary = cv2.ximgproc.thinning(binary) return prob, binary逻辑说明：标准化参数用的是 ImageNet 的均值和方差，因为 VGG16 预训练权重是在 ImageNet 上训的。如果你从头训练，可以用自己数据集的统计量。threshold=0.5是默认值，但实际部署时建议在验证集上扫一遍 0.3 到 0.7，选 F1 最高的。cv2.ximgproc.thinning需要 opencv-contrib 包，安装命令是pip install opencv-contrib-python。如果不想装 contrib，可以用简单的形态学腐蚀代替，但细化效果差一些。
注意：推理时输入图像尺寸最好和训练时一致。如果训练用 256×256 裁剪，推理时整图输入，模型对超大图的边缘响应会变弱，因为感受野固定。常见做法是滑窗推理再拼接，或者把图缩放到 512×512 以内。
4. 避坑与排查：HED 训练和部署中的 5 个血泪教训
4.1 现象：训练 loss 震荡不降，验证 F1 卡在 0.3
原因：最常见的是pos_weight设得太大，模型在正负样本之间反复横跳。另一个可能是学习率太高，侧输出层的 1e-3 对某些数据集偏大。还有一个隐蔽原因：数据标注的二值化阈值不对，如果阈值 0.5 导致边缘太细，正样本比例低于 1%，模型很难学到。
解决：先把pos_weight降到 5，学习率降到 5e-4，观察 loss 是否平滑下降。如果还不行，检查标注图的边缘像素占比，用np.mean(target > 0)算一下，正常应该在 5% 到 15% 之间。低于 3% 就降低二值化阈值到 0.3，或者用形态学膨胀把边缘加粗一个像素。
4.2 现象：推理边缘图出现棋盘格伪影
原因：上采样用了转置卷积（ConvTranspose2d），且kernel_size和stride不匹配。转置卷积在放大倍数不是整数倍时，会在特征图之间插入不均匀的零，导致周期性伪影。
解决：把上采样换成F.interpolate(mode='bilinear')，这是最稳的方案。如果非要用转置卷积，确保kernel_size能被stride整除，比如kernel_size=4, stride=2，并且加上output_padding=0。但边缘检测里我强烈建议用双线性插值，伪影问题直接消失。
4.3 现象：模型对细边缘不敏感，粗轮廓还行
原因：VGG16 的深层特征图分辨率太低，stage5 的输出尺寸只有原图的 1/16，细边缘在池化过程中丢了。侧输出虽然上采样回原图，但信息已经损失了。
解决：两个方向。一是把 stage1 和 stage2 的侧输出权重调高，融合层不要用均匀的 1×1 卷积，而是给浅层侧输出更大的初始权重。二是换骨干，用空洞卷积（dilated convolution）代替部分池化，保持分辨率。常见做法是把 VGG16 的 stage4 和 stage5 的池化层去掉，换成 dilation=2 和 dilation=4 的卷积，这样深层特征图分辨率提高 4 倍，细边缘响应明显改善。
4.4 现象：多卡训练时 loss 不收敛，单卡正常
原因：BCEWithLogitsLoss的pos_weight在多卡 DataParallel 下没有正确同步，每张卡上的正样本比例不同，导致梯度方向不一致。另一个可能是 batch size 变大后，等效学习率没调，SGD 的更新步长相对变小。
解决：多卡训练时，把pos_weight设成固定值而不是根据每批数据动态计算。如果用了DataParallel，建议换成DistributedDataParallel，梯度同步更准确。学习率按卡数线性缩放：单卡 1e-3，4 卡就设 4e-3，但 warmup 阶段要拉长到 5 个 epoch，避免初期震荡。
4.5 现象：部署到 TensorRT 后边缘图变模糊
原因：TensorRT 默认把F.interpolate的bilinear模式转成最近邻插值，或者融合了某些算子导致精度下降。另一个可能是 FP16 推理时，sigmoid 前的 logits 范围被压缩，小数值边缘被舍入成零。
解决：导出 ONNX 时显式指定opset_version=11以上，并且用torch.onnx.export的dynamic_axes固定输入尺寸。TensorRT 构建引擎时，把F.interpolate层标记为precision=FP32，不要用 FP16。如果必须用 FP16，在 sigmoid 前乘一个温度系数（比如 2.0），把 logits 范围拉开，减少舍入误差。
5. 进阶技巧：用 HED 做多任务边缘检测与损失比例调参
如果你已经把 HED 跑通了，下一步大概率是想把它嵌进多任务网络——比如同时做边缘检测和语义分割，或者边缘检测和深度估计。这时候绕不开一个问题：多个 loss 之间的比例怎么调？我试过几种方案，说一个最实用的。
第一种是手动权重。边缘 loss 和分割 loss 直接相加，权重比 1:1 或 1:10。缺点是边缘 loss 通常比分割 loss 大一个数量级，因为边缘是像素级二分类，分割是像素级多分类，量纲不同。我一般会先把边缘 loss 除以pos_weight做归一化，再和分割 loss 相加。
第二种是用不确定性加权（uncertainty weighting）。给每个任务一个可学习的方差参数，loss 变成loss / (2 * sigma^2) + log(sigma)。这样模型自动学出任务权重，不需要手工调。代码实现：
class MultiTaskLoss(nn.Module): def __init__(self, num_tasks=2): super().__init__() # 可学习的 log 方差，初始为 0 self.log_sigma = nn.Parameter(torch.zeros(num_tasks)) def forward(self, losses): # losses: 每个任务的 loss 列表 total = 0.0 for i, loss in enumerate(losses): precision = torch.exp(-self.log_sigma[i]) total += precision * loss + self.log_sigma[i] return total逻辑说明：log_sigma初始为 0，对应 sigma=1，precision=1，初始权重相等。训练过程中，如果某个任务的 loss 一直很大，模型会增大log_sigma，降低该任务的权重，避免它主导梯度。这个方法的代价是多了两个参数，但省去了手工调权重的麻烦。注意log_sigma要用nn.Parameter注册，优化器要包含它，学习率可以设成和其他参数一样。
第三种是梯度归一化（GradNorm）。计算每个任务 loss 对共享层参数的梯度范数，然后动态调整权重，让所有任务的梯度范数接近。这个方法效果最好但实现复杂，适合任务差异特别大的场景。我一般先用不确定性加权，如果效果不理想再上 GradNorm。
验证多任务效果时，不要只看单个任务的指标。边缘检测看 F1，分割看 mIoU，但还要看两个任务是否互相促进。如果边缘 F1 涨了但分割 mIoU 掉了，说明边缘任务在抢容量。这时候可以试试把边缘侧输出只接在浅层，深层共享给分割，减少任务冲突。
最后说一个我踩过的坑：多任务训练时，数据增强要一致。边缘图和分割 mask 必须用同样的随机裁剪和翻转参数，否则边缘和分割区域对不上，模型学出来的边缘是错位的。我习惯把图像、边缘图、分割 mask 打包成一个字典，在 Dataset 的__getitem__里一次性做增强，返回三个同步的张量。这个习惯帮我省了很多调试时间。
希望帮到你。
本文还有配套的精品资源，点击获取
