1. 项目整体思路：为什么桥梁病害识别必须自建数据集
先说结论：无人机拍桥梁照片很容易，半天就能飞完一座桥，但真正让项目卡壳的，从来都不是飞行本身，而是落地时那句“模型识别准确率不够”。我前前后后把手里的桥梁巡检数据迭代到了第10396期，核心工作不是飞行，而是把混凝土裂缝、锈蚀、剥落这些病害从原始图像里准确“抠”出来，并整理成一套适合YOLO系列模型直接训练的格式。
这套数据集的价值在于三点：一是病害类别贴近结构检测的实际需求，不是实验室里摆拍出来的干净样本；二是图像来源涵盖不同光照、不同拍摄角度、不同桥梁部位的真实巡检场景；三是标注粒度经过多轮复核，支撑目标检测和分割识别两个任务。对于正在做结构健康监测、无人机自动巡检、或者想训练一个能真正出报告的缺陷识别模型的团队来说，这套数据可以直接缩短一个月以上的数据准备周期。
很多团队习惯先找个公开的通用目标检测数据集跑通流程，再迁移到自己的场景。这个思路在一般物体上可行，但放到桥梁病害上就很容易碰壁。裂缝的长宽比极端，锈蚀区域的边界模糊，剥落往往与露筋伴生，这些是COCO里面花瓶、汽车、行人所不具备的形态学特征。通用数据集可以教会模型“什么是物体”，却很难教会它“什么是混凝土病害的边界”。这正是桥梁巡检数据集必须行业定制化的根本原因。
1.1 通用数据集在桥梁场景下的水土不服
我实际测试过用公开数据集预训练模型然后做微调。效果确实有，但对裂缝这类细长目标的召回率一言难尽。原因不复杂：通用数据集中物体多为紧凑型包围框，裂缝却往往横跨整幅图像；通用数据集中的背景语义相对简单，而桥梁巡检图像里有大量相似的混凝土纹理、苔藓痕迹、施工接缝，这些都会干扰模型判断。
另一个容易被忽视的问题是类别体系错位。结构检测领域的习惯用语是“裂缝、剥落、露筋、渗水、泛碱”，但通用数据集里根本不存在这些标签。每次做迁移，都要面临“先用哪一类预训练权重”“冻结哪些层”的反复试错。我后来干脆放弃了这个路径，从无人机采图到标注格式转换全部按桥梁场景专项设计，数据迭代也就稳定了下来。
1.2 病害类别体系：锚定检测任务的“最小完备集合”
初期构建数据集时，我把病害分成五个类别：裂缝、锈蚀、剥落、渗水/泛碱、蜂窝麻面。但在标注过程中发现，类别太少模型容易混淆，类别太多则标注成本成倍上升，而且很多类别在图像尺度上难以区分。第10396期数据最终聚焦在三个核心病害类别上：
- 裂缝：表现为线状、网状或块状裂纹，是混凝土结构最普遍的早期病害信号。
- 锈蚀：包括钢筋外露生锈、钢构件锈斑以及锈迹渗流区域。
- 剥落：表现为混凝土表面块状脱落，常与锈蚀伴生，边界相对清楚。
把类别收缩到这三个，标注一致性能明显提高。早期版本里“泛碱”和“锈迹渗流”外观接近，算法经常混淆，后来我把泛碱样本单独清理掉，整体mAP有了稳定提升。聚焦核心类别，后续再按需扩展，是相当务实的做法。
2. 数据采集：无人机巡检视角下的成像规范
数据集质量的天花板是由采集环节决定的，标注只能还原图像里已有的信息。无人机桥梁巡检的采图跟普通航拍完全是两码事，关键点在于对病害的“可辨识度”。我自己总结的几条基础要求是：
- 焦距与飞行距离要保证病害在图像中占据足够像素。裂缝宽度哪怕只有0.2毫米，在图像上也至少要跨3到5个像素，否则标注员都看不出缺陷，模型更学不会。
- 拍摄角度优先采用与被测面近似垂直的视角。斜拍虽然能覆盖更大范围，但会造成裂缝宽度畸变，影响后续尺寸估算。
- 尽量避开中午强光直射时段，阴影覆盖下的裂缝对比度会显著下降，黄昏低色温也会让混凝土颜色出现偏移。
表观上这些要求并不难理解，但实际执行时会发现，由于桥梁结构遮挡、航线限制等因素，理想拍摄条件很难在每一跨都实现。一个好的折中方案是：先沿桥面边缘飞行拍摄侧面与腹板，再借助桥检车或长焦镜头对关键受力部位补拍，保证每个病害对象都有至少两张不同角度的样本。
2.1 拍摄参数与航线规划
我的习惯是双采样策略：第一遍用广角镜头做大范围覆盖扫描，重点是梁底、盖梁、墩柱；第二遍用长焦镜头对疑似病害区域进行定点细拍。两遍相互配合，既照顾了数据的覆盖多样性，又保证了病害样本的清晰度。相机参数一般固定为ISO 100到200、光圈优先、快门速度不低于1/500秒，这样可以避免无人机旋翼振动造成的运动模糊。
航线规划上，需要特别留意梁底区域。无人机在桥下飞，GPS信号会被遮挡，视觉定位也可能失效，所以飞行路径要提前勘查，设置好高度限制和避障策略。飞行速度建议不超过5米每秒，云台俯仰角在0度到负90度之间切换，以适应桥面、侧面、底面不同的拍摄面。图像重叠率保持在60%到70%，这样既能保证拼接时的连续性，又不会带来过多冗余数据。
2.2 图像筛选与预处理流水线
一次巡检下来，几千张照片里真正能进数据集的可能只有三分之一。我建立了一套筛选流水线：先用清晰度评价函数过滤失焦图像，再用直方图检查曝光异常，最后人工扫一遍剔除飞机影子、缆绳遮挡、水迹反光等干扰样本。
预处理阶段，我只做两类操作：一是按需裁切出病害区域的高分辨率局部图，这是为了增加有效样本数量且不损失细节；二是对光照偏暗的样本做CLAHE对比度增强，把裂缝细节拉出来。除此之外，我不做任何会改变结构纹理的滤波或磨皮操作，因为过度的图像平滑会让模型学到与真实场景不一致的特征，在部署时表现反而下滑。
3. 标注规范与YOLO格式转换
如果说采集决定了数据集的上限，标注则决定了下限。桥梁病害标注的难点在于边界判断和类别区分，这在纯矩形框下很难表达清楚，所以我优先采用多边形标注来描述缺陷形状。多边形的轮廓信息既可以直接用于训练分割模型，也可以在转成矩形框时保留最紧致的边界框，一举两得。
标注规范方面，我内部定了一些硬性规则。裂缝的多边形必须贴着裂缝两侧边缘描画，宁可略微内收也不要外扩包裹整片混凝土纹理；锈蚀区域要覆盖锈迹的深色区域，不包括被锈水浸染的浅色晕染带；剥落区域要严格限定在混凝土缺失的凹陷范围内，与周围完好的表面区分开。这些规则听起来琐碎，但直接决定了模型学到的边界是否干净。
3.1 标注标准：哪些细节决定模型上限
最容易出问题的是锈蚀与剥落的伴生场景。很多混凝土剥落区域的内部露出了锈色钢筋，新手标注员会倾向于把整个缺损区域一律标成“剥落”。在实践中，我要求这一场景双标签叠加：剥落区域完整标注，露出的锈色钢筋表面单独标注为锈蚀。这样做模型才能理解两种病害的空间关系，而不是把它们当成同一个目标。
标注工具的选型上，常用的图形标注工具都能胜任，但我建议使用支持半自动化分割的交互式分割工具，可以大幅减少描边时间。半自动工具虽然方便，但边缘经常会有小幅锯齿或吸附错误，所以每一条多边形导出之前，都必须人工确认关键角点是否贴合病害边界。只依赖自动结果不做人工修正，训练出来的模型边界会非常毛糙。
3.2 从多边形标注到YOLO txt的细节
拿到标注文件后，需要转换成YOLO格式。YOLO检测格式的txt每一行代表一个目标，内容依次是类别id、归一化中心点x、归一化中心点y、归一化宽度w、归一化高度h。归一化的意思是所有坐标值都除以图像宽度或高度，这样无论原图分辨率是4000还是2000，模型输入的尺寸都能一致。
分割识别则使用分割格式的txt，每一行的内容是类别id后面跟着一组多边形顶点坐标，所有坐标值同样需要做归一化处理。需要注意的是，坐标归一化一定要基于原始图像尺寸，不能基于标注工具显示缩略图的尺寸。我早期踩过这个坑，把标注工具界面上的缩放坐标直接导出了，结果训练时目标位置全部偏移，排查了两天才发现是坐标换算的基准搞错了。
用代码批量整理文件时，我习惯把train、val、test三个目录的数据分开存放，同时保证每个目录中图像文件和标签文件的主文件名严格一致。比起把所有数据放在一起再按比例随机划分，预先分目录更利于控制不同桥梁、不同部位在训练集与测试集之间的分布，避免模型“见过”同一座桥的病害后再去“测试”它。
4. 模型选型与训练调参实践
有了整理好的数据集，训练环节就进入模型选型与调参阶段。YOLO系列目前有很多变体，我的建议是优先考虑带分割头的版本，因为分割分支对细长裂缝的召回能力通常优于纯检测框。
把检测头与分割头放在一起训练还有一个附加好处：切割任务能够使用更精细的像素级监督信息来约束特征提取器，这比单纯用矩形框监督学到的特征更稳定。实测下来，在相同主干网络下，分割版模型输出的检测框质量也更好，原因在于模型被迫从像素层面理解病害边界，而不是只模糊地感知目标中心。
4.1 检测与分割框架选型
数据集的容量和你手头显卡的显存决定了你能跑到什么规模。以我当前的样本规模为例，最初尝试了较大规模的模型，精度确实不错，但推理速度在嵌入式设备上完全不可用。后来切换到了中等规模的分割模型，配合模型量化，单张航拍图的推理耗时降到了可接受范围，mAP只有小幅回退。选型从来都是精度与速度的折中，锚定你的部署约束去选，不锚定那叠基准测试榜单去选。
我自己最终的配置是输入分辨率1280，batch size 8。训练约200个epoch，使用SGD优化器，初始学习率0.01，配合余弦退火调度。这里需要强调的是，分辨率的选择对裂缝这类细长目标影响极大。分辨率降到640后，细裂缝很容易在降采样过程中消失，所以在这个任务里，宁可牺牲一些训练速度，也要保证输入分辨率。
4.2 样本不均衡与数据增强策略
桥梁病害数据集的默认状态就是类别不均衡。裂缝样本数量多但单体面积小，剥落样本数量少但单体面积大，锈蚀样本则介于两者之间。如果把原始图直接扔进去训练，模型会偏向面积大、数量多的目标，锈蚀的召回率会偏低。
我的处理方式是三步走：
- 第一步，利用大图裁切把每类目标的实例数量拉平，让每个batch里出现的类别分布尽量均匀。
- 第二步，使用马赛克增强、随机仿射变换、亮度和对比度扰动来增加样本多样性。
- 第三步，对稀有类别做重复采样，在采样器层面人为提高其出现频率。
数据增强的力度需要控制。桥梁病害识别与自然图像分类不同，病害特征非常细腻，过度增强会把裂缝的对比度信息破坏掉。实测中，过强的色彩抖动反而让模型在真实图像上频繁漏检，因为真实世界的光照变化并没有训练时模拟得那么剧烈。
4.3 评估指标怎么盯
训练过程中不能只盯loss。对于病害检测，我一般同时监控mAP@0.5、mAP@0.5:0.95和各个类别的单独AP。细长裂缝和锈蚀这两个类别的AP，往往最能反映模型泛化能力的变化。
只看整体mAP容易掩盖局部问题。有一次整体mAP很漂亮，但仔细分列后发现锈蚀类别AP偏低，原因是在标注中锈蚀区域边界争议大，不同标注员给出的多边形面积能差出30%。后来我重新统一了锈蚀的边界标准，AP才回到正常水平。评估时一定要按类别拆开看，否则模型对某类病害失明的时候，你还在为整体指标的微小上涨感到高兴。
部署测试阶段，我还会专门准备一段与训练集完全无关的航拍视频，让模型跑了一遍完整流程来看真实表现。最终模型除了精度指标外，还需要满足单张图像推理时间的要求，这个时间约束往往会在选型阶段就反向卡住你的模型体量。
5. 常见问题与排查实录
整个流程跑下来，我积累了不少排查经验。整理成速查表如下，基本涵盖了大部分团队在类似项目中会遇到的典型问题。
5.1 标注质量层面的那些坑
| 典型问题 | 常见原因 | 处理方式 |
|---|---|---|
| 裂缝检测框大面积覆盖混凝土 | 标注时把裂缝周边纹理一起框进去了 | 严格按裂缝可见边缘标注，多边形内收 |
| 锈蚀与剥落互相误检 | 伴生场景只标了一个类别 | 允许双标签叠加，分别标注锈蚀区域和剥落区域 |
| 分割掩码边缘呈锯齿状 | 半自动标注工具吸附偏差未修正 | 导出前人工检查关键点，必要时手工点选 |
| 同一病害在相邻图像中标签不一致 | 不同标注员主观判断有差异 | 建立标注守则，定期抽检统一标准 |
标注层面的问题最阴险，因为它不报错，只会默默拉低性能。规范标准本身就要靠抽检去对齐，不然多人协作时产生的偏差，后期要付出双倍时间返工。
5.2 训练层面的疑难杂症
训练时最容易遇到的一个问题是loss正常下降但mAP长期不涨。排查思路通常是先检查数据划分是否泄露，再检查增强参数是否过强或过弱。我自己遇到过几次mAP不涨的情况，最后发现是训练集和验证集里出现了同一病害目标的重复裁切块，相当于拿训练数据做测试，表现再好也没有参考意义。数据去重这件事要在制作数据集阶段做好，不能等训练完再去分析。
另一个常见问题是裂缝漏检集中在图像边缘区域。这个现象通常由两处原因叠加：一是Mosaic增强把小目标的中心概率分布打乱了，二是模型感受野在图像边缘覆盖不完整。可以通过调整采样策略，让样本目标尽可能落在图像中段；也可以换用填充式的图像预处理方式，减少边缘信息的丢失。
5.3 部署端的现实问题
训练好的模型在实验环境里跑得很好，部署到实际巡检系统里就漏检，这是大家反馈最多的问题。差异往往出在两点：一是实际场景的相机位姿不固定，病害的透视畸变程度远超训练集覆盖；二是现场光线复杂，逆光、阴影、水渍反光都会干扰模型。
我建议在实际项目里至少增加两个采集维度的训练数据：面向病害的正面拍摄和斜向45度左右的侧面拍摄。同时，对图像做亮度随机化时增加一个“局部过曝”模拟，这样到了真实场景中，模型对强烈反光区域的鲁棒性会好很多。还有一个排序靠后但很重要的细节：部署端的图像往往来自视频抽帧，分辨率虽然高，但压缩痕迹明显，训练时偶尔用一定压缩率的低清图参与训练，也能提升真实场景中的表现。
6. 一条贯穿始终的检查线
数据质量检查不应该是最后阶段的专项工作。我在整个项目里固定了一套节奏：每标注完100张图做一次快速分布统计，每完成一个批次转换就跑一次格式校验，每训练完一轮就抽取失败案例回溯源数据。这样做的目的，是为了让数据、标签、模型三者始终闭环。
格式校验看起来简单，但容易遗漏。txt文件的行数、坐标值是否越界、类别id是否超出范围、文件名是否匹配，这些检查用一段简单的Python脚本就能自动完成。每一次新增数据进入训练集之前，我都会跑一遍全套校验，确保没有脏数据混入。这个习惯看起来不起眼，却帮我避免过很多次“训练到一半才发现标签格式错误”的尴尬局面。
另外，在数据迭代的每个版本之间做好记录也非常重要。哪个版本增加了哪些样本、修改了哪些类别规则、删除了哪些模糊样本，这些变更记录在回溯性能波动时价值极大。第10396期数据已经迭代了很多轮，如果没有完整的记录，我很难判断上一次mAP下降究竟是因为样本变化还是训练参数改动引起的。
最后再分享一个小技巧。在模型迭代过程中，我会把每一版模型容易预测错的图像单独挑出来汇总成一册“疑难样本”。后续每次数据增补时，优先寻找与疑难样本类似的场景图像补充进去。这样几轮下来，数据集的缺口会被精准补齐，模型的短板迭代效率非常高，比盲目的数据堆砌有用得多。
