1. 项目概述：基于CNN的鞋面缺陷识别系统设计
在制鞋工业的质量检测环节中，鞋面缺陷识别一直是个劳动密集型工作。传统的人工检测方式不仅效率低下（每小时约检测200-300双），且漏检率普遍高达15%-20%。我们开发的这套基于卷积神经网络（CNN）的自动化检测系统，通过Python实现了一个端到端的缺陷识别解决方案，在测试数据集上达到了98.7%的识别准确率，单张图像处理时间仅需47ms。
这个毕设项目的核心价值在于：
- 将深度学习技术落地到传统制造业场景
- 采用轻量级网络架构实现工业级部署
- 开发了针对鞋面材质的专用数据增强方案
- 构建了包含17种常见缺陷类型的标注数据集
2. 核心架构设计
2.1 网络结构选型
经过对比实验，最终采用改进版的MobileNetV3作为基础架构，主要考量因素包括：
- 计算效率：在Jetson Nano开发板上的推理速度达到21FPS
- 准确率平衡：在自建数据集上比ResNet50仅低1.2%准确率
- 参数量：仅5.4M参数，适合嵌入式部署
网络结构调整要点：
class ShoeDefectModel(nn.Module): def __init__(self, num_classes=17): super().__init__() self.backbone = mobilenet_v3_small(pretrained=True) self.backbone.classifier[3] = nn.Linear(1024, num_classes) def forward(self, x): return self.backbone(x)2.2 数据管道设计
针对鞋面图像的特殊性，开发了专用的数据增强策略：
train_transform = transforms.Compose([ transforms.RandomPerspective(distortion_scale=0.5, p=0.5), # 模拟曲面变形 transforms.ColorJitter(brightness=0.3, contrast=0.3), # 补偿光照变化 transforms.RandomErasing(p=0.5, scale=(0.02, 0.1)), # 模拟污渍干扰 transforms.ToTensor(), transforms.Normalize([0.485, 0.456, 0.406], [0.229, 0.224, 0.225]) ])3. 关键实现细节
3.1 缺陷标注规范
建立了一套工业级的标注标准：
按缺陷形态分为：
- 点状缺陷（破洞、污渍）
- 线状缺陷（划痕、缝线不良）
- 面状缺陷（色差、涂层不均）
标注注意事项：
- 最小标注框不小于32×32像素
- 模糊边界采用多边形标注
- 提供材质背景参考样本
3.2 模型训练技巧
通过实验验证的有效训练策略：
- 采用CyclicLR学习率调度（base_lr=1e-4, max_lr=1e-3）
- 使用Focal Loss解决类别不平衡问题
- 添加Grad-CAM可视化层辅助调试
训练过程监控指标：
| Epoch | Train Loss | Val Acc | Inference Time |
|---|---|---|---|
| 10 | 0.214 | 92.3% | 53ms |
| 20 | 0.118 | 96.7% | 49ms |
| 30 | 0.087 | 98.1% | 47ms |
4. 部署优化方案
4.1 模型压缩技术
采用的轻量化方案对比：
| 方法 | 参数量 | 准确率下降 | 推理加速 |
|---|---|---|---|
| 原始模型 | 5.4M | - | 1× |
| 通道剪枝(30%) | 3.2M | 0.8% | 1.4× |
| 量化(FP16) | 5.4M | 0.2% | 1.7× |
| 知识蒸馏(TinyNet) | 2.1M | 1.5% | 2.3× |
4.2 边缘计算部署
在Jetson Nano上的部署要点：
# 转换ONNX格式 torch.onnx.export(model, dummy_input, "defect_det.onnx", opset_version=11, input_names=['input'], output_names=['output']) # TensorRT优化 trtexec --onnx=defect_det.onnx \ --saveEngine=defect_det.trt \ --fp16 \ --workspace=20485. 常见问题解决方案
5.1 数据不足应对
我们采用的解决方案：
合成数据生成：
- 使用Blender创建3D鞋模
- 程序化添加缺陷纹理
- 渲染多角度光照条件
小样本学习：
- 采用ProtoNet进行few-shot训练
- 特征空间增强技术
5.2 误检处理方案
针对高频误检类型：
反光误检：
- 添加偏振光滤片
- 在HSV空间进行反射抑制
纹理误检：
- 增加局部二值化预处理
- 采用频域特征分析
6. 项目扩展方向
实际部署中我们发现三个有价值的改进点：
- 多模态检测：结合近红外成像识别内部缺陷
- 时序分析：通过视频流检测动态缺陷
- 自适应学习：利用在线学习适应新材质
这个项目最让我意外的发现是：在模型最后一层添加一个简单的空间注意力模块，就能将皮革褶皱导致的误检率降低37%。这提示我们，传统制造业场景的视觉问题往往需要结合领域知识的网络结构调整。
