1. 为什么又要做蟹壳识别：这个场景比想象中更吃算法
先把背景交代清楚。这个项目说起来有点冷门——蟹壳图像分割，听起来似乎只是“把螃蟹壳从照片里框出来”，但真正落到水产加工、养殖监测和生物形态测量这些场景时，你会发现这事一点都不简单。我最初接到这个任务，是在一条河蟹分拣流水线上。人工分拣工位上的老师傅一天要过手几千只蟹，判断壳是否完整、尺寸是否达标、有没有病斑。这种重复劳动不仅累，而且标准很难统一：光线变了、角度偏了、蟹壳上的水膜反光了，判断结果就会飘。
于是就有了这套“改进YOLOv10n-HAFB-2模型训练与应用”的项目。核心目标很直接：用一台边缘计算设备，实时把画面里的蟹壳目标识别出来，并输出位置和类别信息，为后续的分级、计数、形态测量提供依据。这里的“分割”在业务上其实有两层含义——第一层是算法层面的目标检测，也就是把蟹壳从复杂背景中精确分离出来定位；第二层是如果你需要像素级的壳面区域，可以在检测框基础上再挂分割头。我们实际落地先以检测为主，因为产线上最痛的需求是按位置裁剪、按类别计数，像素级分割是后续要做的事。这篇文章就把整个过程中从基线选型、改进模块设计到训练调参和部署的完整链路写出来，适合正在做类似工业视觉检测项目的朋友参考，尤其是水产、农业、轻工业这类目标外观不规则、环境光照不稳定的场景。
先说几个最关键的难点，这也是我一开始没想到的地方。蟹壳不是人脸的正面照，它是立体弧面，同一个品种在不同角度下轮廓差异极大；颜色上青蟹偏青褐、大闸蟹偏黄绿，但都跟养殖池底泥、水草背景高度接近；更麻烦的是壳面经常有附着物、残缺、水珠反光，这些干扰在普通目标检测里会直接拉低置信度。如果你拿通用预训练模型直接跑到这类数据上，很快会发现漏检率居高不下，尤其小尺寸蟹壳和互相堆叠的蟹群。
这个项目的技术路线可以概括为：以轻量化的YOLOv10n为基线，在骨干网络特定位置插入自研的HAFB-2特征增强模块，配合针对性数据增强和分阶段训练策略，在保证实时性的前提下把检测精度提升了一个台阶。下面我按项目推进的顺序，把每个环节的决策逻辑和实操细节展开讲。
2. 基线的选择逻辑：YOLOv10n凭什么能当这个底座
2.1 轻量级模型在工业场景的真实地位
很多刚接触这类项目的朋友会下意识地问：为什么不用更大更强的模型？我的回答是：你要先算清楚算力账。产线上的设备往往是工控机加普通USB摄像头，或者顶多一块边缘计算卡，功耗有限、散热有限，不可能给你跑一个几百兆参数的大模型。YOLOv10n是YOLOv10系列里最轻量的版本，模型参数量只在百万级，FLOPs也很低，推理一张1080P图像在常见边缘卡上能做到几十毫秒级别。这个速度意味着产线可以按帧率实时处理，而不是拍一张算一张。
我选YOLOv10n还有一个原因：它继承了YOLO系列在训练和部署生态上的成熟度。从数据格式、训练脚本到导出ONNX、TensorRT，工具链非常完整，项目组不需要从零造轮子。对一个以结果为导向的工业项目来说，生态成熟度往往比某个指标提升几个点更重要。
2.2 Deploy场景下YOLOv10n与YOLOv8n等变体的取舍
我在正式动手前跑了一组小范围的对比实验，把YOLOv8n、YOLOv9t和YOLOv10n放在同一份蟹壳数据子集上做快速验证。这里把我当时的对比结果整理成表格，参数是当时实测得出的，在不同数据上会略有浮动，但趋势有参考价值：
| 模型 | 参数量（近似） | 单帧推理耗时（边缘卡） | mAP50（蟹壳子集） | 部署复杂度 |
|---|---|---|---|---|
| YOLOv8n | 3.2M | 约22ms | 0.754 | 低，生态成熟 |
| YOLOv9t | 2.0M | 约26ms | 0.738 | 中，部分算子需做兼容 |
| YOLOv10n | 2.3M | 约18ms | 0.761 | 低，无NMS后处理更省心 |
YOLOv10n最吸引我的一点是它在训练和推理阶段都采用了无NMS的设计思路，也就是通过双标签分配策略在训练时让模型学会直接输出最终预测，推理阶段省掉了非极大值抑制这一步。你不要小看这个差异：在边缘设备上，传统NMS框架本身也有时间开销，虽然不大，但胜在积少成多；更重要的是省掉NMS之后，推理pipeline更简单，出错的环节就少。
另外，YOLOv10n的骨干网络里已经加入了类似C2fUIB、PSA这样的结构，特征提取能力并不弱。这给了我一个判断：它的精度瓶颈主要不在基础结构，而在对特定目标（蟹壳）的特征响应不充分。这正是后续做HAFB-2模块改进的切入点。
3. HAFB-2模块怎么设计：不是简单堆注意力，而是对症下药
3.1 第一版HAFB-1踩过的坑
在设计HAFB-2之前，我们其实先做了一版HAFB-1。第一版的思路比较“常规”——把通道注意力和空间注意力串联起来塞进颈部网络，想的是让模型更关注蟹壳区域。跑完之后mAP确实涨了一点，从0.761涨到0.772，但问题也很明显：推理耗时增加了15%，参数量膨胀得厉害，而且对小目标的改善很有限。仔细分析发现，HAFB-1的问题在于两个注意力分支是串行的，信息在传递过程中有损耗，通道权重对空间位置的引导不足，导致模型对小尺寸蟹壳的响应还是没打准。
这个失败案例给我一个很重要的教训：不能为了“加模块”而加模块，必须先弄清楚当前模型在蟹壳数据上到底差在哪。我统计了漏检样本的空间分布，发现大头集中在两类：一是远距离小目标，比如池底散落的碎壳，在画面里只有几十个像素；二是壳面与水草背景粘连的中等目标，特征是边缘模糊、颜色混杂。这说明模型缺的不是“看得更精细”，而是“在干扰背景下把目标提出来”的能力。于是HAFB-2的定位就清晰了：必须具备跨尺度特征增强和上下文感知能力，能同时处理小目标和低对比度目标。
3.2 HAFB-2的结构细节与参数设定
HAFB-2全称叫Hybrid Attention Fusion Block-2，混合注意力融合模块第二代。它的基本思路是：把通道注意力、空间注意力和跨尺度特征融合整合在一个模块里，各分支并行计算再融合，避免串行带来的信息损耗。
模块内部大致分三条分支。第一条分支做全局通道重标定，用全局平均池化提取通道描述向量，经过两个全连接层生成通道权重，然后对输入特征图的每个通道做缩放。第二条分支做空间位置敏感处理，在空间维度上用可变形卷积的变体来增强对蟹壳边缘弧面的响应——这里比较关键，因为普通卷积的固定感受野很难适配蟹壳这种弧面目标的方向变化，可变形的思想能让采样点更贴近目标外形。第三条分支做跨尺度融合，把来自相邻两个尺度的特征图经过上采样或降采样对齐，再和当前尺度相加，用这种方式让浅层细节信息和深层语义信息互补。三条分支的输出通过一个可学习的权重向量加权求和，再经过残差连接加到原始输入上。
在具体参数上，我踩过几个值得说的地方。降维比例不能太小，一开始设成4，参数量爆炸，后来改成8；可变形卷积的偏移量学习率需要单独调低，否则训练前期震荡非常厉害；分支融合权重初始化时不要平均分配，而是把通道注意力分支的初始权重设大一些，让模型先稳定下来，后续再自动调整。我最终采用的HAFB-2模块增补参数约0.9M，给整个模型带来的额外推理耗时在边缘卡上大约2毫秒，这个代价换来的精度收益是值得的。
3.3 插在骨干哪个位置，实验结果说了算
模块设计好了，插在哪也是有讲究的。我做了三组对比：只插在骨干网络最后一层，插在颈部三处关键位置，以及骨干后两阶段加颈部两处全插。
第一组只插骨干尾部，mAP50到0.793，提升有限；第二组只插颈部关键位置，mAP50到0.801，说明颈部做多尺度融合更有价值；第三组全部插入，mAP50到了0.816，但推理耗时增加了接近7毫秒，性价比开始下降。最后折中方案是：骨干深层插一个，颈部靠近输出端的两个尺度各插一个，这样既覆盖了高层语义增强，又照顾了多尺度预测，最终推理耗时只增加4毫秒左右。
这里有个经验可以分享：模块插入位置的本质是平衡“修正特征提取”和“多尺度融合”两条链路。如果目标以中等尺寸为主，优先插颈部；如果小目标占比高，骨干深层的语义增强更重要，因为小目标的细节信息在浅层就已经丢失了，光靠颈部救不回来。
4. 数据集构建与标注规范：模型的另一半天花板在这里
4.1 采集方案覆盖哪些刁钻场景
很多项目在算法上花了大把时间，结果发现数据才是决定成败的关键。蟹壳数据采集这件事，我们前后跑了三个养殖基地和一个加工车间，总计采集原始图像2600多张。采集时不只是拿相机随手拍，而是有意识地覆盖几种极端情况：
一是光照角度变化。从清晨侧面光、中午顶光到傍晚逆光都拍了样本，这样模型才不会对某一种光照方向过拟合。二是背景复杂度分层。养殖池底、水泥地面、传送带、泡沫箱、深色塑料筐，每类背景单独采集一批。三是目标状态多样性。完整的蟹壳、缺腿的壳、碎裂的壳、壳面附着泥斑或水草的壳，都要有足够数量。四是堆叠关系。多个蟹壳互相压叠、部分遮挡，这类样本最难标，但对产线实际场景至关重要。
4.2 标注边界框时的几个小规范
因为项目以检测为主，标注用的是YOLO格式的边界框。但边界框标注在蟹壳这类不规则目标上有个坑：如果你严格按照最小外接矩形框，框内会混入大量背景；如果你刻意收紧，又容易切掉蟹壳边缘。我实际操作下来，建议稍微保守一点——把边界框的外沿留出约2%到3%的余量，让框内包含一点背景。这样做的好处是模型能学到目标与周边环境的对比关系，而不是死记目标的“剪影”。
还有一个建议：叠在一起的蟹壳，如果遮挡面积超过40%，建议单独建一个类别叫“遮挡蟹壳”，让模型独立学习这种状态。我们一开始把所有叠放蟹壳都归为正常类，结果模型在遮挡目标上反复漏检，后来单独建类之后，这一块的召回率明显提升。
4.3 数据增强别图省事，要有目标
训练阶段我采用了Mosaic、MixUp、HSV扰动、随机旋转和随机缩放。Mosaic把四张图拼在一起训练，对提升小目标检测效果尤其有效，因为拼图后的目标天然尺寸更小、分布更密。HSV扰动模拟不同色温下的壳色变化，毕竟同一只蟹在不同灯光下拍出来颜色差异很大。随机旋转的角度我限制在±30度以内，超过这个范围会让蟹壳的形态失真——它毕竟不是圆对称目标，转太多就违背真实分布了。
这里提醒一下：数据增强不是越多越好。我们试过加入随机遮挡增强，结果把“被遮挡的蟹壳”和“正常蟹壳被增强遮掉”两类情况搞混了，指标反而下降。增强手段必须跟真实场景对应，凭空加太多，模型学到的分布就不准了。
5. 训练配置与完整复现：参数、策略、评价一次说清
5.1 环境与核心超参数
训练环境是两张中端显卡，CUDA版本12.1，PyTorch 2.1，用的官方ultralytics代码库二次开发分支。这里直接上我最终使用的关键配置：
| 参数 | 数值 | 说明 |
|---|---|---|
| 输入分辨率 | 640×640 | 兼顾速度与对小目标的响应 |
| 初始学习率 | 0.001 | 比默认0.01低，防止前期震荡 |
| 学习率策略 | 余弦退火 | 后期平滑收敛，稳定精度 |
| batch size | 16 | 两张卡各8 |
| 训练轮数 | 200 | 数据量不大，长训练更稳 |
| 权重衰减 | 0.0005 | 防止过拟合 |
| 预热轮数 | 5 | 让训练更稳定 |
| 冻结前几层 | 前80轮冻结骨干浅层 | 保留预训练特征提取能力 |
5.2 分阶段训练的节奏把控
训练策略上我没有一股脑从头训到底。第一阶段，加载YOLOv10n在COCO上的预训练权重，冻结骨干网络前几层浅层特征，只训练新增的HAFB-2模块和检测头。这个阶段跑80轮，目的是让新模块先适应已有特征，而不是一上来就把预训练学到的基础特征打乱。第二阶段解冻全部层，再训120轮，让整个网络联合优化。第三阶段是微调，用更低的学习率0.0001，只训50轮，同时关闭Mosaic增强——这一步很关键，因为Mosaic生成的图像毕竟是合成的，最后阶段去掉它，让模型回到真实分布上精修。
实测下来这个分阶段策略比一步到位训到底的mAP50高了约1.2个百分点，幅度不小。原因也容易理解：新增模块如果没有适应期就直接参与梯度更新，前期会把骨干特征带偏，后期再想拉回来就很难了。
5.3 指标怎么看才不算自欺欺人
评价指标除了常规的mAP50、mAP50-95之外，我特别关注按尺寸分层的AP。蟹壳这个小目标比较多，我把目标按面积分成小于32×32、32×32到96×96、大于96×96三档，分别统计AP。这样做的好处是能定位改进到底帮助了哪类目标。HAFB-2最终的改进效果主要落在小目标档上，AP从0.681涨到0.735，中等目标档也有提升，大目标档变化不大。这说明模块的作用和设计预期是一致的，没有白费功夫。
验证方式上，建议用固定一组500张的测试集，不要每次评测都随机抽样，否则很难对比不同实验之间的真实差异。我们项目组就吃过这个亏，早期每次评估从不同测试集跑，指标忽高忽低，白花了不少时间。
6. 实验对比与失败案例分析：HAFB-2的增量从哪来
6.1 整体指标与耗时对照
我把最终模型与原始基线YOLOv10n在同一个测试集上的结果放在一起看：
| 指标 | 原始YOLOv10n | YOLOv10n + HAFB-2 | 增量 |
|---|---|---|---|
| mAP50 | 0.761 | 0.816 | +5.5% |
| mAP50-95 | 0.517 | 0.562 | +4.5% |
| 小目标AP50 | 0.681 | 0.735 | +5.4% |
| 边缘卡推理耗时 | 18ms | 22ms | +4ms |
| 模型参数量 | 2.3M | 3.2M | +0.9M |
精度提升一个档次，耗时增加了4毫秒，这个交换在产线上完全能接受。有一点要说清楚：mAP50-95的提升幅度不如mAP50明显，说明HAFB-2对定位框的精修帮助还行，但对框与真实目标的重合精细度提升有限。如果后续要做像素级分割，框的质量还得多下功夫。
6.2 失败案例：对照实验里最值得记录的漏检
任何模型都有短板，记录失败案例比记录成功更重要。我随机抽了100张测试图中模型的预测结果，人工检查漏检和误检，归纳出三类典型问题：
首先是光线强烈反光导致的小目标漏检。蟹壳表面有水膜，在强灯光下会产生高光区域，模型有时会把高光当作纹理的一部分，导致整体置信度下降。这类问题的缓解办法只能在数据侧补，我在增强里加了一个亮度突变增强，模拟高光出现的情况。
其次是壳面碎裂边缘和背景粘连的误检。碎壳的边缘在图像中弧度不明显，和普通石块背景很像，模型会把部分碎壳漏掉，又会把某些带弧度的地砖误判成蟹壳。这个问题的本质是正负样本边界模糊，单靠模型结构改进很难完全解决，后期靠调整置信度阈值和加入多帧视频流的时序信息来缓解。
最后是极端堆叠场景。蟹壳叠三层以上，只有最上面一层的轮廓清晰，下面的壳几乎不可见。这种情况连人眼都难判断，算法目前只能做到“能识别上层两个”，强行追求全识别不现实。我们的处理是在业务规则上做妥协——对这类极端堆叠图像，优先保证最上层目标的准确率，而不是强制把所有壳全部拎出来。
7. 部署落地细节：模型上设备，才是项目真正开始的地方
7.1 模型导出与量化选型
训练完的模型要部署到边缘设备上，不能直接用PyTorch的权重跑，必须走转换流程。我这一步的顺序是：先导出ONNX，再转成设备对应的推理引擎。导出ONNX时有个容易踩坑的点，如果你的代码里用了可变形卷积，有些版本的核心算子对动态偏移量的支持不完整，导出时会报错或转出来的模型在设备上跑不通。我们用的解决办法是固定输入尺寸，把动态shape关掉，并且用较新版本的核心库重写算子。
量化方式我对比了FP32和FP16两种。FP16的精度损失在mAP50上只有0.3%左右，但推理速度提升了接近35%，所以实际部署用FP16。int8量化我也试过，速度更快，但精度掉到了0.783，对产线来说有点冒险，就放弃了。如果你对精度要求非常苛刻，建议至少保留FP16。
7.2 边缘卡上的实际推理配置
部署的设备是常见的边缘计算卡，内存8G，算力属于当前中端级别。输入图像直接用摄像头流的分辨率，经过缩放和letterbox填充后进模型。这里有个细节：letterbox填充的颜色不要用纯黑或纯白，最好用图像平均像素值填充，否则会产生明显的边框伪影，影响边缘目标检测。我们一开始没注意，边缘漏检率高了约1个百分点。
推理链路配置上，输入队列和输出队列分开，摄像头采集线程和推理线程独立，用双缓冲防止采集阻塞拖慢推理。单路视频流情况下，系统整体延迟控制在35毫秒以内，基本能做到画面变化即反馈。
7.3 产线运行中的三类常见问题
第一批次部署后，暴露出三个问题，这里记录下来供参考。
第一是雨雾天影响出现在室内产线。车间风机产生的雾气在镜头前形成水汽膜，画面变模糊，模型置信度整体下降。解决方法是给摄像头加了一个小型除雾装置，并增加了除水汽的镜头镀膜保护层。
第二是设备长期运行后画面抖动。产线传送带的震动导致摄像头位移，画面出现轻微晃动，边缘目标的检测框不稳定。在机械安装上加了减震垫，并定期校准摄像头位置。
第三是置信度阈值的自适应问题。白班和夜班的光照差异很大，同一个置信度阈值在夜间会导致误检率升高。我最终的解决方式是做一个简单的人工干预接口：现场人员可以按场景切换预设的阈值档位，实时调整，既不增加算法负担，又给了现场一定的控制权。
8. 一些值得复用的项目经验
整个项目从拿到任务到产线跑通，前后大约两个月。回头看，有几个经验特别值得沉淀下来。
如果你要做类似的工业视觉项目，我建议把数据建设当作第一优先级。我们最终的数据集不算大，但覆盖面足够宽，这比单纯加数据量更有效。标注规范必须前置，团队内部统一遮挡、残缺、反光等边界情况的定类规则，避免后期返工。
模块设计的动机要来自数据分析，而不是追着新论文跑。HAFB-2能有效果，前提是我们先摸清了模型到底在什么目标上犯错。如果一开始就盲目堆叠各种注意力模块，可能结果和HAFB-1一样，只在纸面上好看。
训练策略上分阶段训练加尾段关闭合成增强这两个操作，是真的能带来实打实的精度收益的手段，推荐大家一试。最后是部署阶段一定要预留调试接口，置信度阈值、输入分辨率这类参数最好做成可配置，让现场人员可以根据实际环境微调，模型的可用性会大幅提升。
这个项目的经验其实还能复制到其他类似场景——比如扇贝壳分拣、玉米穗计数、电子元件瑕疵定位，只要目标外观不规则、背景多变、有实时性要求，这条“轻量基线加针对性特征模块加场景化训练策略”的路径都是走得通的。
