如果你在物流仓库的分拣线旁边站过一会儿，就会知道现场有多“乱”：传送带一刻不停，纸箱大小不一、堆叠交错，顶上的灯光还会随着早晚时间变化，箱体表面又有胶带、面单、反光。任何一个环节出了问题，机械臂就可能抓空、抓偏，甚至把箱子挤坏。这个项目做的，就是让机器真正“看清楚”纸箱长什么样——不光是给出一个方框说“这里有箱子”，而是把每一只箱子的轮廓都分割出来，给到后端执行机构去抓取、码放和计数。整套方案的核心，是一套叫 YOLO13-SEG-REPVGGOREPA 的实例分割模型。我在某物流中心的自动化改造项目里把它从数据整理一路做到了部署上线，中间踩了不少坑，这篇就当是给同样在做纸箱检测、物流视觉落地的朋友一份实操笔记。如果你正在纠结“到底选检测还是分割”“重参数化骨干值不值得换”“上了线之后掩码老是不干净怎么办”，这篇文章应该能帮你省下几周试错时间。
1. 项目整体设计与场景拆解
1.1 物流现场的检测任务到底难在哪里
先说现场环境。物流自动化里的纸箱检测，跟自动驾驶或者安防监控不太一样，它的核心约束是“节拍”。传送带跑起来之后，每个纸箱通过相机视野的时间往往只有几百毫秒，机械臂需要在箱子到达抓取位之前就拿到位置、尺寸和角度。所以算法不仅要准，还要快。这个“快”是硬指标，不是论文里的口号。
其次是箱子外观极度不统一。同一条线上可能有新箱、旧箱、压扁的箱、缠满胶带的箱、表面带印刷图案的箱，甚至有些箱子封口没封好，边角翘起来。而纸箱本身是典型的低纹理目标，面料颜色大多是瓦楞黄、牛皮纸色，在视觉上非常接近背景传送带或者周围设备。也就是说，模型不能靠颜色，只能靠“形状特征”和“边缘结构”来识别。
第三个难点是遮挡。纸箱在传送带上经常互相挨着，或者斜着叠在一起。如果用普通的目标检测，两个箱子挤在一起时，模型经常会只给一个大框，机械臂看到框之后根本不知道抓哪里。这就把方案直接逼向了实例分割：必须知道每个箱子的独立轮廓，才能算出每个箱子的中心点、长宽、倾角，以及哪个箱子在上层、哪个箱子被压住。
1.2 为什么必须上“检测+分割”而不是普通检测
不是我故意用复杂方案，而是业务需求决定了必须分割。我们最初也试过只用检测框来做：给机械臂一个矩形框的中心和宽高。但实际测试发现，纸箱斜放的时候，外接矩形里有大量空白区域，按矩形中心抓会偏；两个箱子堆叠的时候，矩形框互相覆盖，后端无法判定边界；还有一种更麻烦的情况，箱子表面有大幅印刷图案，检测框容易把印刷图案也包进去，导致宽高算错。
换成实例分割之后，这些问题都能直接解决。模型输出的每个掩码就是箱子的实际轮廓，从掩码里可以算出来：
- 真实中心点：轮廓质心，而不是矩形中心
- 精确尺寸：轮廓外接矩形加上旋转角度，能还原箱子的实际长宽和摆放姿态
- 抓取点：薄壁纸箱可以取轮廓上下边缘的中点，配合吸盘尺寸做吸附点规划
- 堆叠层次：掩码的y坐标排序可以粗略判断上下层关系，配合深度图能做更细的避障
所以整个项目的目标定义从一开始就清晰了：不仅检测“有没有箱子”，还要把每个箱子的轮廓切干净，后端才能像人一样判断“从哪儿下手”。
1.3 模型命名拆解：YOLO13-SEG-REPVGGOREPA 是什么
这个命名看着像一串拼装玩具，其实拆开之后逻辑很直接。YOLO13 是基础检测框架的版本号；SEG 表示这个版本带实例分割分支，也就是在常规的检测头上额外接一个 mask 分支，输出每个目标的二值轮廓；REPVGGOREPA 指的是骨干网络采用了以 REPVGG 和 OREPA 为核心的重参数化结构。
为什么要在 YOLO13-SEG 默认骨干之外换这么一套结构？核心就两个字：部署。物流现场的推理设备往往不是大型 GPU 服务器，而是嵌入式的推理板卡，算力和显存都很紧。重参数化结构的思路是：训练的时候使用复杂的多分支网络来更好地提取特征，训练完成之后，通过结构重参数化把多分支折叠成一条单路径卷积网络。这样部署时的计算量大幅下降，但精度的损失却很小。简单说，就是用训练时间换推理速度，而且几乎没有精度退化。这种结构在边缘设备上的收益非常明显，我们后面详细展开。
2. 核心原理：为什么重参数化骨干在这里这么有优势
2.1 REPVGG：训练时是“毛坯房”，推理时是“精装房”
先讲 REPVGG 的基本思路。普通 VGG 风格网络就是一层层 3x3 卷积堆叠，简单但是精度上限有限。RepVGG 的出发点很巧妙：在训练阶段，每个卷积层旁边额外增加一个 1x1 卷积分支和一个恒等连接分支，每个分支后面都跟着 BatchNorm。多分支汇总之后，网络能学到更丰富的特征表达。
到了推理阶段，把 1x1 卷积分支等价地补齐成 3x3 卷积核，把恒等连接也等价地补成单位矩阵形式的 3x3 卷积核，再把这些卷积核和偏置直接相加，同时把 BatchNorm 层的均值、方差、缩放系数全部融合进卷积核里。最终得到的还是一个普通的 3x3 卷积层。整个过程不依赖任何运行时库，就是纯数学等价变换。我打个比方：训练时像搭毛坯房，砖墙、木模板、脚手架都在；推理时把模板和脚手架拆掉，但墙体结构一点没变，承重能力还在，但外面看着规整多了。
这种设计对分割任务特别友好，因为分割头的特征图分辨率通常比检测任务高，骨干如果太“重”，计算量会成倍放大。RepVGG 结构在推理时没有多分支的冗余计算，每层都是标准卷积，很多推理优化库都能吃满算力，这对板卡部署是决定性的。
2.2 OREPA 改进了什么：在线重参数化
REPVGG 有个让训练不太舒服的点：多分支结构在训练时要同时计算三条路径，显存占用高，训练速度慢。OREPA 就是冲着解决这个问题来的。
OREPA 的全称是 Online Convolutional Re-parameterization，在线卷积重参数化。它的核心变化在于：不再是训练时开三条分支到最后合并，而是在每个前向过程中就让多个分支以一种可微分的方式“在线”合并成单个卷积核。这样训练的时候，模型结构和部署结构已经高度一致，显存占用大幅下降，也能在训练过程中就把重参数化带来的数值变化考虑进去。
实际用下来的感受是，同样一批数据，REPVGG 结构的训练费时费卡，OREPA 风格的实现明显更省显存，收敛也稳定。在 YOLO13-SEG 这种本身训练就不轻的任务里，这个优势会被放大。加上 OREPA 对结构设计做了更细的约束，比如通道缩放、尺度重参数化，最终得到的模型在精度不变的情况下，推理模型更简洁。
注意：不同工业框架里“OREPA”的实现细节会略有差异，但核心思想都是“在线合并分支，减少训练开销”。你如果去读源码，只需要关注它有没有把多分支合并过程做成可微的、是否在训练前向里就产生了单路卷积，基本就能判断实现是否正宗。
2.3 给分割任务带来什么实际收益
纸箱分割这个具体任务里，重参数化骨干的收益体现在三个维度。第一是掩码质量。纸箱的边缘大多是一条条清晰但较细的折痕，特征图分辨率高一些，掩码的贴边程度就能好很多。重参数化结构没有牺牲特征提取能力，所以 mask 的边缘保持得很完整。第二是速度。我们实际测试中，换成重参数化骨干后，单帧推理时间比同尺寸默认骨干下降了大约四分之一，在嵌入式板卡上这个差距就是实时和掉帧的区别。第三是显存。分割训练需要把高分辨率特征图存下来计算 loss，OREPA 省出来的训练显存让我们可以把输入分辨率再往上提一档，或者加大 batch size，间接又提升了精度。
3. 数据集：把真实线上的纸箱变成能训练的标注
3.1 采集：不要急着训练，先在传送带旁录几天视频
我第一次做这类项目时犯的错，就是拿网上公开的纸箱图片凑数据集。结果现场一上电就傻眼了：网上图片大多干净、单箱、光照均匀，而现场的光线、角度、飞溅的灰尘、箱体破损，全都对不上。后来老老实实改了方法：在分拣段顶上和侧面各装一台工业相机，用编码器信号触发采集，传送带跑一整天，连续录下不同时段的视频。
采集时有几个参数非常关键。分辨率至少 1920x1080，因为纸箱上的胶带和边角在太低的分辨率下看不清楚；帧率不需要太高，但每只箱子至少要连续出现 5 帧，否则后续标注和难例挖掘都无从谈起。曝光时间要短，物流传送带跑起来之后，快门一慢全是运动模糊。我们现场把曝光控制在 300 微秒左右，配合补光灯提高亮度。另外一点很重要：不要只拍“正常”的箱子，要把叠箱、斜箱、破损箱、反光箱都拍进去。模型能不能扛住现场，全靠这些坏样本。
3.2 标注：多边形必须贴着纸箱折痕走
采集回来的数据不能直接丢给模型。纸箱检测的任务标注有它的特殊性：不能用矩形框代替轮廓，必须用多边形标注，把箱子真实外轮廓包括折痕边缘圈出来。我用的标注工具是常见的多边形标注软件，团队里三四个同事标了两周，最终得到约 8500 张有效图像。
标注规范上我们踩了很多次，最终沉淀下来几条硬性规则：
- 类别共三类：标准纸箱、异形纸箱（内部有衬物导致外鼓或异形）、特殊箱型（比如带提手、带开窗的纸箱）。面单和胶带不单独建类，但要保证多边形把黏贴在箱体表面的胶带一起圈进去，因为胶带是反射面，不圈进去掩码会缺角。
- 压线规则：纸箱边缘是折线，标注时必须每段折线都点出来，不能简化成弧线。否则模型学到的边缘精度不够，机械臂量尺寸会偏。
- 遮挡处理：两个箱子互相压住时，只标注可见部分，但要在标签属性里标记“遮挡程度”。因为分配训练集时，我们需要确保每个 epoch 里高遮挡样本有一定的比例，不能全是完好箱子。
标注完成之后还要过一次“清洗”：把所有不清晰的、模糊到连人都分不清边界的图像删掉，这些图只会给模型送噪声。最后按 8:1:1 切分成训练集、验证集和测试集。测试集必须完全独立，不能跟训练集来自同一段视频的相邻帧，否则指标虚高没有任何意义。
3.3 数据增强：模拟物流线的“脏乱差”
物流现场的增强方式和通用目标检测不太一样。通用场景注重多尺度、翻转、旋转，我们这里则要重点模拟现场特有的干扰。我们用的增强组合包括：
- 马赛克增强，提升模型对大场景和堆叠箱子的适应能力
- 随机亮度、对比度扰动，模拟早晚光照变化
- 运动模糊增强，对图像做小方向随机模糊，学习抗拖影能力
- 胶带反光模拟，用局部高斯亮斑叠加在随机位置，逼着模型不看亮斑也能识别
- 随机遮挡增强，用不规则色块挡住部分箱子，模拟被压住的情况
这里有个非常实用的经验：不要让增强把所有图片都变成“极端状态”。我见过有人把亮度扰动拉到正负 50%，结果训练集退化成一堆纯黑纯白的图，模型直接不收敛。我们在亮度扰动上只用正负 15%，运动模糊只对 30% 的样本生效，其他增强也都是按比例随机触发。增强的目的是让模型更皮实，不是让模型认不出箱子。
4. 训练配置与调参笔记
4.1 训练环境与基础配置
训练部分我直接说配置。我们用的 PyTorch 框架，单卡训练不够就两张卡并行，输入分辨率设定为 640x640。骨干换成重参数化结构之后，训练显存比默认版本低不少，这是选 OREPA 路线的直接收益。
基础迭代参数如下：初始学习率 0.001，优化器用 AdamW，权重衰减 0.0005，总轮数 300 轮，batch size 在两卡并行下开到 32。学习率用了 cosine 退火，前 10 轮做 warmup。这种配置下模型大概在 180 轮之后就开始收敛到稳定水平，300 轮跑完基本是收益递减的尾声了，再训只会过拟合。
4.2 损失函数与关键训练技巧
YOLO13-SEG 的损失是检测损失和分割损失的组合。检测部分包括框的分类损失和回归损失，分割部分则是对预测掩码和真值掩码计算二进制交叉熵。训练时要注意 mask 分支的 loss 权重不能太小，否则模型会只学“找到箱子”而不学“圈对轮廓”。我们实际把 mask 分支的权重调到了和检测分支接近，这样掩码质量才明显改善。
训练中还有个细节是 positive sample 的选择策略。纸箱重叠时，同一个位置可能有多个框，如果正样本定义太激进，模型会被某个箱子反复“带偏”。我们把重叠框之间超过 0.7 阈值的样本都保留下来，让模型自己去学会区分边界，而不是粗暴地非极大值抑制掉。这样做在验证集上 mask IoU 涨了将近 2 个点。
数据增强在训练过程中还会逐步衰减强度，最后 30 轮关闭马赛克增强，只保留轻微的色彩扰动，让模型在接近真实分布的输入上精调，这叫“增强退火”。这个操作特别适合纸箱这种重复纹理明显的目标，能显著降低误检。
4.3 评估指标与最终效果
评估指标上，我们重点看这几个：mAP50、mAP50-95、Mask IoU、单帧推理耗时。mAP50 反应的是“有没有找到箱子”的能力，现场节拍追踪主要看它；mAP50-95 反应的是框定位的精细程度；Mask IoU 则是分割任务命根子，直接反应轮廓贴边程度。
下面是我们自建测试集上的实测对比（基于同一份训练数据，输入尺寸同为 640x640，推理在同一型号板卡上）：
| 模型 | mAP50 | mAP50-95 | Mask IoU | 单帧耗时（毫秒） |
|---|---|---|---|---|
| YOLO13-SEG 默认骨干 | 0.961 | 0.882 | 0.843 | 4.8 |
| YOLO13-SEG-REPVGGOREPA | 0.973 | 0.914 | 0.876 | 3.2 |
数据是我自己项目里的真实抽样，不代表所有场景都一定涨这么多，但这个趋势是有代表性的：重参数化骨干在速度提升明显的同时，精度不降反升。原因在于默认骨干为了追求极致的骨干能力，在网络深度和宽度上堆得比较满，而重参数化结构通过多分支训练+单路径推理，在同样的计算预算下拿到了更好的特征表达。
还有一个指标很多人会忽略：单帧耗时稳定性。物流系统最怕的不是平均耗时长，而是偶尔来一帧 20 毫秒的“尖峰”。模型一旦被热身不足的边缘设备拉爆，后端就会连续漏检。重参数化模型由于推理路径规整，在板卡上的耗时波动很小，这对生产线而言比平均指标重要得多。
4.4 推理阈值与后处理参数
模型训练完不能直接上线，还得调推理参数。检测置信度阈值我设的 0.45，NMS 阈值设的 0.6，mask 置信度阈值设的 0.35。这几个值不是拍脑袋定的，而是在测试集上扫了一遍之后选的。置信度阈值太高会漏掉低对比度纸箱，太低又会把传送带上的杂物当成箱子。NMS 阈值则直接关系到重叠箱子的边界能不能保留，0.6 是我们试下来误检和漏检平衡得最好的点。
分割掩码的后处理也会影响最终效果。我们会对置信度低于 0.3 的掩码直接抹掉，然后对保留的掩码做一次形态学开运算加一次闭运算，去掉掩码内部的小洞，再把轮廓外边缘做一轮轻微平滑。这几个操作加起来只要不到半毫秒，却能让机械臂看到的轮廓干净不少。
5. 部署与工程落地细节
5.1 从训练框架到推理引擎的导出
训练完的模型是 PyTorch 格式，不能直接上推理板卡。我走的标准链路是 PyTorch 转 ONNX，再转成 TensorRT 引擎。转换过程中的两个坑必须提前规避。
第一个坑是动态输入尺寸。训练时用了固定 640x640，但现场图片是 1920x1080，我一开始想省事直接用原图尺寸推理，结果反复导出失败。最后做了个预处理模块：先把原图等比例缩放到短边 640，再在边缘补成 640x640，推理完成后再把掩码坐标映射回原图。这样既保住了现场的大场景视野，又避开了动态 shape 的麻烦。
第二个坑是 BatchNorm 融合。OREPA 风格结构在训练结束后看起来已经是单路径卷积，但导出的 ONNX 里有些 BN 层并不会自动消失。如果转换工具版本不够新，就会在引擎优化时报错。我的经验是导出前先用重参数化工具把所有 BN 强制融合到位，再走 ONNX，全程不依赖运行时去自动化处理。
5.2 边缘板卡上的推理性能优化
部署目标是一块嵌入式 GPU 板卡，并不是数据中心里的服务器，所以要做一系列性能优化。首先是精度档位，我们尝试了 FP32、FP16 和 INT8 三档。FP16 没有任何精度损失，单帧耗时从 3.2 毫秒降到 1.9 毫秒，这一步必须上。INT8 还能再快一些，但纸箱边缘在 INT8 下面会出现抖动，Mask IoU 掉了 3 个多点，对于抓取任务来说会有风险，所以最后保存的是 FP16 引擎。
然后是内存管理。传统做法是每帧创建一个 GPU 缓冲，再复制数据进去，这在持续跑线的场景会频繁触发显存分配，导致耗时抖动。我改成启动时就预先分配好输入输出缓冲区，推理循环里只做数据搬移和引擎执行，整体延迟曲线一下子稳定了。
还有一个非常容易被忽视的优化点：缩小预处理耗时的 CPU 负担。板卡 CPU 不强，而缩放、归一化这些操作如果逐像素循环写 Python，一帧就能吃掉 10 毫秒。我把图像缩放和归一化全部用 CUDA 算子放到 GPU 上执行，CPU 只负责读帧和搬移，单帧端到端耗时又砍掉一半。最终现场实测端到端（从相机取帧到拿到掩码坐标）稳定控制在 25 毫秒以内，完全满足了 40 帧节拍下的实时性需求。
5.3 与机械臂和 PLC 系统的联动
模型输出掩码本身没有意义，真正干活的是机械臂。我们做了一套简单的联动逻辑：相机装在一段固定的传送带上方，标定好像素坐标和机械臂世界坐标之间的仿射变换关系；模型每检测到一个纸箱掩码，就立刻算出该箱子的质心、外接矩形长宽、旋转角度，以及轮廓上距离抓取点最近的两个边缘点，打包成结构化数据，通过 socket 发给工控机。
工控机收到坐标后再叠加传送带编码器位置才最终驱动机器人抓取。这个过程中，我踩过最大的坑是坐标系精度：相机看到的图像边缘有镜头畸变，如果不做畸变校正和标定，纸箱到了传送带末端时坐标偏差能到 3 到 4 厘米，直接导致抓空。后来加了棋盘格标定，把像素坐标变换矩阵算到子像素精度，联动抓取的成功率才稳定在 99% 以上。顺便提醒：在标定时一定别忘了考虑传送带运动造成的偏移补偿，不然相机测出来是静态位置，机械臂抓的时候箱子已经往前滑了。
6. 实战中踩过的坑与排查方法
6.1 透明胶带和反光让掩码出现“断坑”
上线第一天就碰到一个头疼的问题：封箱胶带在灯光下反光，模型预测出来的掩码经常在胶带位置缺一个角，机械臂吸盘按这个掩码去抓，结果压在了胶带翘起的边上，直接报警。排查时发现，反光区域亮度过高，模型就把那一小块当成了背景。
解决分了三步。第一步，训练数据里增加“局部高光”增强，在纸箱表面叠加强度随机的高斯亮斑，让模型见过这种视觉挑战。第二步，推理后处理里对掩码做闭运算，补掉边缘缺口。第三步，物理层面调整补光灯角度，减少直射强反射。三步走完，掩码完整率从 88% 提到 97%。这件事也让我意识到，物流场景的干扰不是纯算法问题，很多时候需要把光学设计也一起考虑进去。
6.2 纸箱堆叠导致的掩码粘连
纸箱相互压住，模型有时会把两个相邻箱子分割成同一个掩码，这在分割任务里叫“相邻目标粘连”。原先按单个箱子数量来统计吞吐量的系统，会因为粘连直接漏数，账目对不上。
我试过几种后处理办法，最后管用的是组合方案：先对 mask batch 做连通域分析，如果发现掩码面积超过最大单箱面积的 1.6 倍，就判定为粘连，然后在该掩码内部做分水岭分割，把两个凸包分开。如果在分水岭之后仍然无法判断是两个箱子，就把该帧标记为“人工确认”，由后续相机补拍一帧再核对。这套逻辑上线之后，粘连导致的计数误差从每百箱 3 个降到了 0.2 个以下。当然，平时也能通过训练难例来缓解，但纯后处理更直接。
6.3 小尺寸纸箱漏检和模糊
生产线上偶尔会出现很小的配件箱，只有大箱子的六分之一那么大。这类目标在检测里很容易被当成背景，尤其是它周围摆着大箱体时。我最初把输入分辨率从 640 提到 768，小箱漏检率下降了一些，但全帧耗时飙升了 42%，不划算。
后来改用更聪明的方案：在传送带侧面加了一路补拍相机，专门覆盖远端角落的小箱子区域，用小分辨率模型独立检测这一路画面，再和顶装相机的检测结果在坐标空间里融合。这个“一远一近、一主一辅”的双相机结构，比单纯堆模型参数有效得多，而且成本很低。
6.4 光线变化导致早晚误检率上升
物流仓库白天和夜里的灯光环境差别非常大，特别是靠窗的位置，下午四点的斜阳能把纸箱照得金灿灿一片。最初模型在白天跑得很好，傍晚就开始出现误检，把设备阴影或者传送带挡板当成箱子。
这个问题靠数据增强只能缓解一半，因为我们采集时的光照分布并不均匀。后来我给相机开启了自动曝光，并在推理前做了一次快速 gamma 校正，把图像亮度归一化到一个相对固定的区间。同时，我把白天、傍晚、夜里的数据分开评估，确保三类场景下的 mAP50 都过了 0.95 才允许发布。之后又对现场灯光做了简单改造，把补光灯改成常亮且色温固定的工业光源，问题彻底消失。
6.5 现场问题速查表
| 现象 | 可能原因 | 排查方法 | 解决办法 |
|---|---|---|---|
| 掩码缺角 | 胶带反光、局部高光 | 查看失败帧亮度分布 | 增强+闭运算+调整光源角度 |
| 两个箱子的掩码连在一起 | 堆叠遮挡、NMS阈值过松 | 打印 mask 连通域 | 连通域分析+分水岭后处理 |
| 小纸箱漏检 | 输入分辨率不足、正样本少 | 分开统计召回率 | 侧路补拍相机+模型融合 |
| 傍晚误检率升高 | 光照变化剧烈 | 分时段评估 mAP | 自动曝光+gamma校正+固定光源 |
| 掩码边缘抖动 | INT8量化损失 | 对比FP16和INT8的Mask IoU | 改用FP16引擎 |
| 推理耗时偶尔尖峰 | 动态显存分配/CPU预处理过重 | 打印推理耗时常驻日志 | 预分配缓冲区+预处理搬到GPU |
7. 项目复盘与个人体会
这个项目做下来，我最大的感受是：模型本身只占成功的一半，另一半是数据质量和工程稳定性。很多人一上来就把精力花在调 YOLO 的超参数上，但真正决定现场能不能用的，往往是“你有没有把反光样本放进去”“你的推理引擎在跑满 8 小时后耗时有抖动”“机械臂坐标系有没有校准”。这些事看起来都不够“性感”，但在物流自动化这种以稳定节拍为生命线的场景里，它们就是核心。
另一个体会是重参数化结构特别适合边缘部署。如果你在选型时纠结“升级大模型还是优化部署模型”，可以试试“训练时大开大合、推理时压缩成单路径”这条路。它不需要牺牲精度，也不需要额外引推理框架，纯粹是结构设计上的红利。唯一要留意的是：重参数化结构对训练框架的算子合并有要求，最好在训练早期就把导出链路打通，别等训完再发现导出不了。
最后再说一个小技巧：上线前一定要在真实产线上连续跑 72 小时，收集推理失败帧，每天做一次难例回灌到训练集。这套流程才是整个纸箱检测项目能稳定运行的关键。模型不是训完就能一劳永逸的，物流现场的箱子样式、灯光条件、传送带速度都会变，你只有让模型持续跟着真实环境“复训”，它才会越跑越可靠。
