简介：面向计算机视觉初学者与深度学习开发者，HED边缘检测资源包提供了最小可运行的算法demo，可用于快速体验HED在轮廓提取、图像分割预处理等场景下的效果。包内共3个文件，核心是一个Python调用脚本（py）、一个Caffe部署描述文件（prototxt）以及预训练权重下载脚本（sh），总大小仅2KB，结构精简，便于直接阅读和二次修改。资源基于Caffe框架，利用VGG16等预训练模型的多层卷积特征完成从粗到细的边缘预测，适合对边缘检测原理有一定了解、希望动手跑通HED流程的用户。目前已有1239人学习下载。通过这套资源，使用者可以学会加载HED模型、配置网络结构，并将模型应用到自己的图像上进行边缘提取；同时也可借助prototxt理解多尺度分支融合的设计思路，为后续改进或迁移到其他框架提供参考。整体而言，这是一个轻量、聚焦、适合上手实践HED边缘检测的入门资料包。
1. HED 边缘检测到底是什么：从 Canny 翻车现场说起
做图像处理的人几乎都被 Canny 坑过：参数调了半小时，拿到一张边缘断成虚线、纹理密得跟蜘蛛网似的图。尤其是自然图像里那些「颜色变化不大但语义上明显是边界」的区域，比如白墙前放一个白杯子，Canny 直接当背景忽略掉。深度学习来了之后，很多人以为换一个 CNN 模型就能解决，结果用 VGG 分类网络改一改当边缘检测用，输出不但糊，边缘多粗完全不可控。HED（Holistically-Nested Edge Detection）就是冲着这个问题来的：它不是一个简单把深度特征拉出来做后处理的模型，而是整个网络从多个尺度同时输出边缘图，再融合成一张既保留细节又保持结构完整的边缘概率图。本文从 HED 的思路、复现步骤、训练细节到部署坑位一次讲完，新手可以直接照着跑通，熟手也能拿到一组可调的融合策略和训练参数。
2. HED 为什么比 Canny 强：架构设计里藏着的三个关键决定
2.1 VGG16 做骨干不是随便选的，侧边输出才是 HED 的灵魂
HED 的骨干网络是去掉全连接层的 VGG16，保留五个卷积阶段。很多人以为边缘检测用分类网络当骨干只是「换个损失函数」的事，其实 HED 真正的设计核心是深度监督：每个阶段的最后一层卷积后面都接一个 1×1 卷积，把特征压缩到单通道，再上采样到原图尺寸，形成所谓的 side output。也就是图里常见的 d1、d2、d3、d4、d5 五个侧输出，最后还有一个 fuse 层把五个侧输出融合成最终结果。
这样做的动机很直观：底层特征（d1、d2）感受野小，能抓住细小的纹理边缘，但也会把噪点当边缘；高层特征（d4、d5）感受野大，能感知物体边界，但边缘位置会偏粗偏模糊。单用任何一层都是偏的，HED 让每一层都独立地接受梯度，然后在 fuse 层学一个权重来把它们组合起来。不同深度的侧输出在损失函数里权重可以不一样，这给调参留了很大的空间，后面会专门讲。
2.2 对每个像素做二分类，问题定义直接决定输出形态
HED 把边缘检测定义为对每个像素做二分类预测——是边界还是非边界。这个定义看起来简单，但它意味着两件事：
第一，输入输出尺寸必须一致。原始 HED 训练时会把图像缩放到固定尺寸，网络内部五次下采样，侧输出层必须把特征图双线性插值回原图尺寸再算损失。这意味着你训练的图是多少分辨率，推理时最好也别差太多，否则上采样会带来边缘偏移。
第二，损失函数用的是类别平衡的 sigmoid 交叉熵，不是普通的 BCE。原因是边缘像素在自然图像里占比通常远低于非边缘像素，如果不做类别平衡，模型会学会「全部预测为非边缘」，损失反而很低。HED 的做法是在损失函数里给正负样本设置权重，这个权重参数在复现时直接影响输出质量，是第一个值得调的旋钮。
下面是一段基于 PyTorch 复现 HED 骨干加侧输出层的核心代码骨架，可以直接用作实验起点：
import torch import torch.nn as nn import torchvision.models as models class HED(nn.Module): def __init__(self): super(HED, self).__init__() # 用预训练 VGG16 的卷积部分做骨干特征提取 vgg16 = models.vgg16(pretrained=True) features = list(vgg16.features.children()) # 按 VGG16 的五个 stage 切分子网络，便于输出中间特征 self.stage1 = nn.Sequential(*features[0:4]) # conv1_2 输出 self.stage2 = nn.Sequential(*features[4:9]) # conv2_2 输出 self.stage3 = nn.Sequential(*features[9:16]) # conv3_3 输出 self.stage4 = nn.Sequential(*features[16:23]) # conv4_3 输出 self.stage5 = nn.Sequential(*features[23:30]) # conv5_3 输出 # 每个 stage 后接 1x1 卷积，压缩到单通道边缘概率图 self.score1 = nn.Conv2d(64, 1, 1) self.score2 = nn.Conv2d(128, 1, 1) self.score3 = nn.Conv2d(256, 1, 1) self.score4 = nn.Conv2d(512, 1, 1) self.score5 = nn.Conv2d(512, 1, 1) # fuse 层：把五个侧输出叠加成最终融合图 self.fuse = nn.Conv2d(5, 1, 1) def forward(self, x): h = x h = self.stage1(h); d1 = self.score1(h) h = self.stage2(h); d2 = self.score2(h) h = self.stage3(h); d3 = self.score3(h) h = self.stage4(h); d4 = self.score4(h) h = self.stage5(h); d5 = self.score5(h) # 每个侧输出都上采样到输入尺寸，才能与真值算损失 size = x.size()[2:] d1 = nn.functional.interpolate(d1, size=size, mode='bilinear', align_corners=False) d2 = nn.functional.interpolate(d2, size=size, mode='bilinear', align_corners=False) d3 = nn.functional.interpolate(d3, size=size, mode='bilinear', align_corners=False) d4 = nn.functional.interpolate(d4, size=size, mode='bilinear', align_corners=False) d5 = nn.functional.interpolate(d5, size=size, mode='bilinear', align_corners=False) fuse = self.fuse(torch.cat([d1, d2, d3, d4, d5], dim=1)) return d1, d2, d3, d4, d5, fuse这段代码里有两个地方要特别说明。
第一，stage 的切分方式依赖 VGG16 每一层的索引，建议在跑之前打印一遍 features 的结构确认 conv 层位置，否则很容易把池化层划错。比较稳妥的做法是先把 VGG16 的 features 完整打印出来，按 relu 层的次序做手动切分，再对照 pretrained 权重加载是否成功。
第二，interpolate 用的align_corners=False是常见的默认选项，但如果你的训练图和真值图之间边缘存在系统性偏移，可以试着改成align_corners=True对比一下，因为两种方式对坐标映射的假设不同，在边缘检测这种对像素位置敏感的任务上会有可感知的差异。
2.3 HED 与 Canny、Prewitt 的本质区隔：HED 是在学「什么是边界」而不是「怎么找梯度」
很多初学者会把 HED 理解为「用深度网络替代 Sobel/Prewitt 算子找梯度」。这个理解是错的，而且会导致一个很严重的后果——当你拿到一个完全没有梯度的边缘（比如白色桌子上的白色笔记本），你会用传统方法去生成训练标签，结果 HED 学到的仍然只是「梯度强的地方是边缘」，完全丧失了深度学习该有的泛化能力。
传统边缘检测算子（Sobel、Canny、Prewitt）无一例外基于一个假设：边缘等于像素值的剧烈变化。这个假设在受控环境中成立，在自然图像中大量失效。HED 的价值在于它可以同时利用颜色、纹理、形状和上下文语义推断出边缘位置。比如背景纹理杂乱但物体边界清晰时，Canny 会把纹理也当边缘，而 HED 的 d5 层能从语义层面区分纹理和边界。所以，HED 的训练标签最好是人工标注的语义边缘，而不是自动算出的梯度图，这点会在下一节详细展开。
Prewitt 边缘检测原理虽然在很多教材里讲得很细，但在 HED 时代它的角色不是替代品，而是理解传统方法的参照系。复现 HED 时保留一份 Canny 输出做对比是非常好的调试习惯——它能帮你快速判断模型输出的边缘是「语义性的」还是「梯度性的」。
3. 跑通 HED 的最小方案：从数据准备到六通道输出可视化
3.1 准备带语义真值的训练数据而不是自己算梯度
数据是复现 HED 最容易翻车的环节。HED 的官方训练数据是 BSDS500，里面除了图像还有人工标注的边缘真值，你需要把标注结果转换成 VOC 风格的掩码图像（边缘像素为 1，非边缘像素为 0）。很多人在这一步偷懒，直接用 Canny 生成伪标签，训练出来的模型跟 HED 本意相差甚远。
如果你暂时拿不到 BSDS500，可以用一个替代方案：在真实项目里，把掩码标注工具（比如 LabelMe）画的闭合区域边界 rasterize 成单像素边缘图，再配合膨胀操作生成厚度可控的标签。厚度控制非常重要，因为 HED 的 side output 经过上采样后边缘天然偏粗，如果标签是单像素边缘，模型会很难收敛。
我的做法是先生成单像素边缘，然后用 3×3 的膨胀核膨胀一次，得到约 2 像素厚的标签。这样既保留了边缘的定位精度，又给了网络足够的正样本信号，特别是对比较细的物体轮廓。HED 原文里用的标签经过多标注者融合，但实际复现时厚度控制在 1-3 像素即可，太厚会让输出边缘变成「区域」而不是「线」。
3.2 训练时的损失函数与类别平衡权重设置
HED 的损失函数在 PyTorch 里可以直接用带 pos_weight 的 BCEWithLogitsLoss 来实现，不需要自己写复杂的损失逻辑。关键参数是正负样本平衡，HED 原文的设定是正样本权重设为类别的反频率，但在实际复现中直接套用常会导致边缘过于稀疏，个人经验是把正样本权重上调 1.2-1.5 倍，输出会更「满」一些。
除正负样本权重外，五个 side output 的损失权重也需要设置。默认全是 1.0 是一个稳健起点，但如果你发现输出中细纹理过多，可以加重 d4、d5 的损失权重，让模型更倾向于学语义边界而不是微观纹理。这一点在融合层之外的侧输出评估中特别有效。
import torch.nn.functional as F # 训练时计算每个 side output 和 fuse 的损失 def hed_loss(side_outputs, fuse_output, edge_label, pos_weight=1.2): loss = 0.0 # 边缘标签通常是单通道，扩展成与输出形状一致 target = edge_label.unsqueeze(1).float() for side in side_outputs: # 每个侧输出单独算 BCE，带正样本权重 loss += F.binary_cross_entropy_with_logits( side, target, pos_weight=torch.tensor([pos_weight], device=side.device) ) # fuse 输出的损失权重可以加大一点 loss += 1.5 * F.binary_cross_entropy_with_logits( fuse_output, target, pos_weight=torch.tensor([pos_weight], device=fuse_output.device) ) return loss这里的pos_weight是 BCEWithLogitsLoss 对正样本的加权系数，大于 1 表示让模型更重视边缘像素。但要注意，pos_weight 太大也会出问题，模型会倾向于把很多非边缘像素预测为边缘，输出图变得很脏。调试技巧是：先固定 pos_weight=1 跑几个 epoch 观察损失曲线，如果 loss 降不下去或输出全黑，再逐步调大。全黑一般是负样本主导导致的，全白或全灰则是正样本权重过高。
训练参数上，常用的入门配置是输入分辨率 256×256，batch size 4，初始学习率 1e-4，优化器直接使用 Adam 就好，SGD 需要手动调学习率衰减，在这个任务上并没有明显收益。对于显存有限的场景，可以去掉 stage5 的深层侧输出，只融合 d1-d4，边缘质量损失较小但训练速度快不少，这也是一个值得尝试的折中方案。
3.3 推理阶段的输出到底是什么：六通道图的意义与可视化
HED 跑完一张图后，你会得到六个输出：五个 side output 加一个 fuse。很多人只拿 fuse 用，把 side output 全丢了，这其实很浪费——不同 side output 隐含了不同尺度的边缘语义，在后续处理中是有独立价值的。
以真实场景为例，d1、d2 输出包含大量细节纹理边缘，适合做材质分析、表面缺陷检测；d3、d4 更接近中层的部件轮廓；d5 则是语义级的物体外边界。fuse 是它们的加权组合，适合做通用边缘图。但 fuse 也不总是最优：如果下游任务需要「尽可能完整的物体轮廓」，单独用 d5 有时比 fuse 更干净。
推理时统一做一次sigmoid激活，再乘 255 转成 8 位图，这一步几乎所有复现代码都一样。关键在于阈值的选择：fuse 输出的概率分布通常是单峰偏右的，直接用 0.5 做阈值会丢失大量弱边缘。建议先跑十张图，统计概率直方图，选谷底作为阈值。没有明显谷底时，0.3 往往是比较稳妥的起点。
import cv2 import numpy as np import torch # 推理单个 batch 的完整流程 model.eval() with torch.no_grad(): # x: [B, 3, H, W]，像素值归一化到 0-1 d1, d2, d3, d4, d5, fuse = model(x) # 取 fuse 输出并做 sigmoid prob = torch.sigmoid(fuse) # [B, 1, H, W] # 转换为 8 位单通道图 edge_map = (prob.squeeze(1).cpu().numpy() * 255).astype(np.uint8) # 阈值化为二值图，阈值建议根据直方图动态调整 _, binary = cv2.threshold(edge_map, 0.3 * 255, 255, cv2.THRESH_BINARY)这里有个小细节：cv2.threshold的阈值是绝对的灰度值，所以传入0.3 * 255而不是 0.3。如果你发现融合图边缘偏亮而二值化后断裂很多，可以试试先用cv2.dilate对二值图做一次膨胀，或者改用自适应阈值来保留局部弱边缘。
4. 边缘检测复现避坑指南：五个真实踩过的坑
4.1 输出全黑：正负样本失衡比你想的更严重
现象：训练了十几个 epoch，loss 下降正常，但推理输出几乎全黑。
原因：负样本（非边缘像素）占了 95% 以上，模型学会了「全输出 0」这个局部最优解。尽管损失函数里加了平衡权重，但权重比例不够或被 sigmoid 的输出特性压制。
解决：先检查每个 batch 的 ground truth 中正样本比例是多少，如果低于 5%，把pos_weight调到 3-5 再试。同时可以加上Dice loss作为辅助损失，它不需要手动调权重，对正负样本比例天然不敏感。另外确认一下标签是否在预处理时被意外放大导致边缘像素位置偏移，误导了训练。
4.2 d1 层全是噪声，fuse 层边缘过粗
现象：d1 输出几乎看不出结构，全是白色颗粒状噪点；fuse 输出边缘模糊，像是把不同尺度的边缘叠在一起。
原因：d1 的感受野太小，边缘定位靠的是局部梯度而不是上下文，天然对噪点敏感；而 fuse 层只是学了一个线性加权，不能有效剔除低质量的侧输出。
解决：训练时给 d1、d2 的损失乘 0.4-0.6 的衰减权重，让网络知道低层侧输出只是辅助角色。推理时也可以不用 fuse，改为对 d3、d4、d5 取平均，往往能得到更干净的语义边缘图。这算是一个设计上的小技巧：HED 的 fuse 权重是学出来的，但效果不一定比手工加权好。
4.3 输入尺寸不一致导致边缘偏移
现象：训练时用 256×256，推理时输入 512×512 的大图，结果输出边缘整体偏左上或右下。
原因：HED 的侧输出上采样使用双线性插值，特征图尺寸是输入尺寸除以 2 或 4 的倍数。当输入尺寸不是 32 的整数倍时，各层上采样的坐标映射会产生累积偏差，最终边缘位置对应关系不稳定。
解决：推理时先resize到与训练尺寸一致（或最近的 32 倍数尺寸），得到边缘图后再resize回原图。这带来的边缘精度损失远小于直接推理的坐标偏移。如果项目要求高质量输出，建议训练时就用多种尺寸的随机裁剪，让模型适配多尺度。
4.4 标签里有非边缘标注：边缘检测模型被低级特征带偏
现象：模型在纹理密集区域反复输出「假边缘」，尤其是在类似草地、砖墙这类背景上。
原因：训练时用了自动生成的边缘标注（比如 Canny 或 Sobel 阈值结果），里面的纹理边缘被当成真值让模型学习，模型等效于在学一个带通滤波器，没有学到语义边界，这本质上是问题定义层面的错误。
解决：用人工标注数据，或者至少对自动标注做后处理：去除面积过小的连通域、沿梯度方向做非极大值抑制、用形态学开运算断掉细碎的噪声分支。这一步在数据准备时代价最高，但也是决定 HED 上限的地方之一。
4.5 显存不够 OOM：batch size 与分辨率拉扯
现象：batch size 设 8，输入 256×256，在 8GB 显存上直接 OOM 崩溃。
原因：HED 多路输出和五次上采样占用了大量中间激活值显存，比普通分类网络要多得多。
解决：先用 batch size=2 跑通流程，再逐步增加。分辨率降为 224×224 也几乎不影响边缘质量。如果这些都不够，可以把 stage5 换成空洞卷积版本，能保住感受野的同时减少一次下采样，显存占用会少很多，输出边缘细节也更好，不过实现成本略高，适合有余力再试。
5. 把 HED 用出花来：与 Canny/PiDiNet 融合的实用策略与调参经验
HED 不是万能的，在某些场景里它的输出甚至反而不如 Canny 稳定。但如果把 HED 的语义边缘和 Canny 的梯度边缘放在同一个坐标空间里做融合，很多单模型解决不了的问题都能迎刃而解。下面是我在项目里常用的三种融合策略，按任务分场景，按需选取。
第一类是语义先验过滤策略，适用于「用 Canny 结果做量化分析但噪声太多」的场景。做法是先用 HED 的 d5 输出生成一个语义边缘掩码（阈值 0.2，偏宽松），把这个掩码膨胀 3-5 个像素，然后与 Canny 的输出做与运算。效果是保留梯度强的真实边界，过滤掉纹理和阴影区域。这个方法在「颜色变化不大但语义边界明显」的图像上效果极为突出，比如浅色背景上的浅色物体。Canny 那边寻不到边，HED 却能给出语义界定位，加和之后就是完整的物体轮廓。
第二类是双通道加权融合策略，适用于「边缘密度极大、纹理极为丰富」的图像。将 HED fuse 输出与经过高斯模糊的 Canny 输出按 0.6:0.4 的权重叠加，再进行自适应阈值。这里高斯模糊的作用是让 Canny 的细碎边缘不那么强调位置精度，把权重让给 HED 的整体结构描述。实践中如果你发现 0.6:0.4 的输出仍然偏碎，可以试试 0.7:0.3，Canny 的权重更小一些；反之如果真正的弱边缘丢了，加大 Canny 权重到 0.5。
第三类是尺度选择策略，适用于「固定分辨率下目标大小变化剧烈」的场景。HED 的单尺度输出天然对特定大小的目标最敏感，多尺度测试（即经典的 multi-scale HED 做法）会显著增加计算开销。折中方案是只为 fuse 输出做三尺度推理（0.5 倍、1.0 倍、1.5 倍），三个尺度的边缘图先各自做非极大值抑制，再在概率层面取平均。我做过对比实验，这一做法相比单尺度 F1 分数提升约 3-5%，但计算量只有完整五尺度推理的 40%。如果你的业务对边缘完整性要求高，这个策略非常值得试。
还有一个可以调的高性价比参数是融合层的初始化方式。Pytorch 默认初始化的 fuse 卷积会输出五个侧输出的百分百权重平均。如果训练数据较少，建议直接手动固定为 [0.1, 0.2, 0.2, 0.25, 0.25] 这种偏重高层特征的权重初始化，然后冻结 fuse 层不参与训练，可以避免训练初期梯度震荡导致的融合权重偏置。
6. 最后一招：如何快速判断 HED 输出的好坏
很多人拿到 HED 的输出图，第一反应是「看起来还行」，但一提交下游任务就问题百出。我习惯用一个非常快的验证法：选出十张具有代表性的测试图，要求必须包含「低对比度边缘」「纹理密集区」「细线结构」「遮挡边界」四类典型场景，然后把 HED 的侧输出、fuse 按照阈值从 0.1 到 0.9 遍历一遍，对每一张阈值图算一次图像连通域数量和边缘平均宽度。一张好的 HED 边缘图，连通域数量不应随阈值剧烈变化，边缘平均宽度稳定在 2-3 像素区间。如果某个阈值区间内连通域数量突然下降，说明大量真实边缘在这个概率值附近被砍断，你的阈值选择要避开这个区间。
另一个针对融合质量的验证手段是「最大响应层对比」：对每张测试图，找到五个侧输出中响应最强的那个，打印出索引分布。如果绝大多数图的最大响应层是 d5，说明模型已经完全依赖语义特征，好处是抗噪能力强，坏处是对细线结构容易丢失；如果最大响应层是 d1 或 d2，说明模型在学局部梯度，底层特征主导，融合图必然偏碎片化。合理情况是测试集里 d3、d4 为最大响应层的占比最高，这代表多尺度融合真正在起作用。我最近的一次复现里，d3 占比 42%、d4 占比 35%，fuse 的表现就明显优于单层输出。如果你的占比分布极端，就回到上一章去调整损失权重，而不是继续调后处理参数。
最后是一个效率习惯：HED 推理前先把输入图像做一次等比例缩放，让短边落在 256-320 像素之间。这个范围附近模型精度和开销比较均衡，大图直接塞进去不但慢，上采样误差也会放大。我自己现在会在项目里写一个自动判断短边的函数，对每一张图动态计算缩放比，而不是写死一个尺寸。HED 最值得你投入时间的不是网络结构本身，而是你对侧输出语义的理解——把它当成六种不同性格的助手来用，效果会远超只拿 fuse 当最终结果的人。希望这些经验能让你少走我走过的弯路，祝你的边缘检测项目顺利完成。
本文还有配套的精品资源，点击获取
