1. 项目背景与核心价值
鞋类自动分类系统是计算机视觉领域一个极具实用价值的课题。我在大四那年选择这个方向作为毕业设计，最初只是觉得"用AI识别鞋子"听起来很酷，但深入后发现这个项目远比想象中复杂且有意义。传统鞋类电商平台依赖人工标注商品类别，平均每1000张图片需要3-4小时人工处理，而基于深度学习的方案可以将效率提升20倍以上。
这个项目的核心在于构建一个能自动识别运动鞋、皮鞋、凉鞋、靴子等常见鞋类的智能系统。难点在于鞋类具有以下特征：
- 视角多样性（俯视/侧视/斜视）
- 相似品类间的细微差异（如牛津鞋与德比鞋）
- 背景干扰（电商图片常带复杂背景）
2. 技术方案选型
2.1 模型架构对比
我测试了三种主流架构的表现（测试集包含5000张图片）：
| 模型类型 | Top-1准确率 | 推理速度(FPS) | 参数量(M) |
|---|---|---|---|
| ResNet50 | 89.2% | 32 | 25.5 |
| EfficientNetB4 | 91.7% | 28 | 19.3 |
| MobileNetV3 | 86.5% | 45 | 5.4 |
最终选择EfficientNetB4作为基础模型，因其在准确率与效率间取得最佳平衡。这里有个关键细节：需要将原模型的最后一层1000类分类层替换为自定义类别数（如8类鞋型），并重新训练全连接层。
2.2 数据准备要点
收集了来自Kaggle和自爬取的共12,000张鞋类图片，按7:2:1划分训练/验证/测试集。数据增强策略包括：
train_transforms = transforms.Compose([ transforms.RandomResizedCrop(224), transforms.RandomHorizontalFlip(), transforms.ColorJitter(brightness=0.2, contrast=0.2), transforms.RandomRotation(15), transforms.ToTensor(), transforms.Normalize([0.485, 0.456, 0.406], [0.229, 0.224, 0.225]) ])重要经验：电商图片中的鞋子常带有透明背景或模特脚部，建议先用Mask R-CNN进行前景提取，能提升约3%的准确率
3. 模型训练实战
3.1 环境配置
推荐使用conda创建虚拟环境：
conda create -n shoe_classifier python=3.8 conda install pytorch==1.12.1 torchvision==0.13.1 -c pytorch pip install opencv-python pandas tqdm3.2 训练参数设置
采用分阶段训练策略：
- 冻结骨干网络，仅训练分类头（10epochs，lr=0.01）
- 解冻全部网络微调（20epochs，lr=0.001）
- 使用余弦退火学习率调度
关键代码片段：
optimizer = torch.optim.AdamW([ {'params': model.parameters(), 'lr': config.lr} ]) scheduler = torch.optim.lr_scheduler.CosineAnnealingLR( optimizer, T_max=config.epochs)4. 性能优化技巧
4.1 注意力机制改进
在EfficientNet的MBConv模块后添加SE注意力模块，可使准确率提升1.5%：
class SEModule(nn.Module): def __init__(self, channels, reduction=16): super().__init__() self.avg_pool = nn.AdaptiveAvgPool2d(1) self.fc = nn.Sequential( nn.Linear(channels, channels // reduction), nn.ReLU(), nn.Linear(channels // reduction, channels), nn.Sigmoid() ) def forward(self, x): b, c, _, _ = x.size() y = self.avg_pool(x).view(b, c) y = self.fc(y).view(b, c, 1, 1) return x * y4.2 模型量化部署
使用TensorRT进行FP16量化后，推理速度从28FPS提升到53FPS：
# 转换模型为ONNX格式 torch.onnx.export(model, dummy_input, "shoe_classifier.onnx") # 使用TensorRT转换 trtexec --onnx=shoe_classifier.onnx --saveEngine=shoe_classifier.trt --fp165. 常见问题解决
5.1 类别不平衡处理
当某些鞋类样本过少时（如雨靴仅占3%），可采用：
- 过采样少数类
- 使用Focal Loss代替交叉熵
- 在DataLoader中设置weightedRandomSampler
Focal Loss实现示例：
class FocalLoss(nn.Module): def __init__(self, alpha=1, gamma=2): super().__init__() self.alpha = alpha self.gamma = gamma def forward(self, inputs, targets): BCE_loss = F.cross_entropy(inputs, targets, reduction='none') pt = torch.exp(-BCE_loss) loss = self.alpha * (1-pt)**self.gamma * BCE_loss return loss.mean()5.2 跨域泛化问题
当测试数据与训练数据分布不一致时（如训练用白底图但测试用实拍图），建议：
- 使用Domain Adaptation技术
- 添加风格转换数据增强
- 在损失函数中加入MMD距离约束
6. 项目扩展方向
完成基础分类后，我尝试了三个有价值的扩展：
- 细粒度分类：区分Adidas Ultraboost 4.0与5.0等相似鞋款
- 属性识别：同时预测鞋子的颜色、材质、开口类型等
- 检索系统：输入一张鞋子图片，返回相似商品
其中属性识别采用多任务学习框架：
class MultiTaskModel(nn.Module): def __init__(self, num_classes, num_colors, num_materials): super().__init__() self.backbone = EfficientNet.from_pretrained('efficientnet-b4') self.classifier = nn.Linear(1792, num_classes) self.color_head = nn.Linear(1792, num_colors) self.material_head = nn.Linear(1792, num_materials) def forward(self, x): features = self.backbone.extract_features(x) features = F.adaptive_avg_pool2d(features, 1).squeeze() return { 'class': self.classifier(features), 'color': self.color_head(features), 'material': self.material_head(features) }这个项目从开始到最终部署耗时约4个月，最大的收获不是模型准确率达到了92.3%，而是学会了如何将一个学术idea转化为可落地的解决方案。建议后来者在选择深度学习毕设题目时，一定要考虑数据获取的可行性，我当时就差点因为爬取电商图片被封IP而被迫更换题目
