YOLOv5与CNN结合的车牌识别技术实战解析-平芜编程栈

1. 项目概述：当YOLOv5遇上CNN的车牌识别实战

停车场出口的自动抬杆、高速ETC通道的快速通行、小区门禁的无感识别——这些场景背后都离不开车牌识别技术的支持。传统车牌识别依赖手工设计特征和规则匹配，面对倾斜、模糊或光照不均的车牌时表现往往不尽如人意。而基于深度学习的方案通过数据驱动的方式，让机器自己学习车牌的视觉特征，大幅提升了复杂场景下的识别鲁棒性。

这个项目采用当前工业界最流行的技术组合：YOLOv5负责快速定位图像中的车牌位置（检测阶段），CNN网络则专注于识别定位后的车牌字符（识别阶段）。实测表明，这种两阶段方案在Intel i5处理器上能达到每秒15帧的处理速度，同时保持98%以上的车牌定位准确率和95%的字符识别准确率。

2. 核心需求与技术选型

2.1 车牌识别系统的核心挑战

车牌识别看似简单，实则暗藏多个技术难点：

多尺度问题：近景车辆车牌可能占据图像1/3宽度，而远景车牌可能不足1/10
形变干扰：摄像头角度导致的透视变形（见图1）
复杂背景：车辆格栅、保险杠等干扰物与车牌颜色相近
光照变化：夜间低光、强光反射等极端光照条件
字符粘连：特别是新能源车牌字符间距更小

2.2 为什么选择YOLOv5+CNN组合？

检测端选型对比：

模型	推理速度(FPS)	mAP@0.5	模型大小(MB)	适合场景
Faster R-CNN	8	0.89	200	高精度要求
SSD	25	0.82	30	移动端部署
YOLOv5s	45	0.86	14	实时性优先

识别端选型考量：

CRNN适合端到端识别但需要字符对齐
传统OCR对模糊字符敏感
CNN+CTC在车牌这种固定格式场景表现最优

实测数据：在自制包含5000张车牌的测试集上，YOLOv5s+ResNet18组合达到97.3%的端到端识别率，而传统OpenCV方案仅为82.1%

3. 系统实现全流程拆解

3.1 数据准备与增强策略

数据收集建议：

使用车载记录仪采集真实场景数据（注意隐私合规）
开源数据集推荐：
- CCPD（中国车牌数据集，10万+样本）
- AOLP（台湾车牌数据集）
- 自建数据集注意包含：
  - 不同时段（白天/夜间）
  - 天气状况（晴天/雨雪）
  - 拍摄角度（前视/侧视）

数据增强技巧：

# Albumentations增强示例 transform = A.Compose([ A.RandomBrightnessContrast(p=0.5), A.MotionBlur(blur_limit=5, p=0.2), A.Perspective(scale=(0.05, 0.1), p=0.3), A.RandomRotate90(p=0.5), A.CoarseDropout(max_holes=2, max_height=20, max_width=20, p=0.2) ])

3.2 YOLOv5车牌检测实战

环境配置避坑指南：

# 推荐使用conda环境 conda create -n plate_rec python=3.8 conda install pytorch==1.12.1 torchvision==0.13.1 cudatoolkit=11.3 -c pytorch pip install -r requirements.txt # 来自YOLOv5官方仓库

关键训练参数解析：

# data/plate.yaml train: ../train/images val: ../valid/images nc: 1 # 只有车牌一类 names: ['license_plate'] # hyp.scratch-low.yaml lr0: 0.01 # 初始学习率 lrf: 0.1 # 最终学习率=lr0*lrf momentum: 0.937 weight_decay: 0.0005 fl_gamma: 0.0 # 禁用focal loss hsv_h: 0.015 # 色相增强幅度 hsv_s: 0.7 # 饱和度增强 hsv_v: 0.4 # 明度增强

检测效果优化技巧：

使用K-means++重新聚类anchor box
添加注意力模块（SE或CBAM）
对倾斜车牌添加旋转增强

3.3 CNN字符识别实现

网络结构设计要点：

class PlateNet(nn.Module): def __init__(self, num_chars=68): # 31省份简称+10数字+24字母+特殊字符 super().__init__() self.cnn = nn.Sequential( nn.Conv2d(3, 32, 3, padding=1), # 输入112x32 nn.BatchNorm2d(32), nn.ReLU(), nn.MaxPool2d(2), # 后续层省略... ) self.rnn = nn.LSTM(256, 128, bidirectional=True) self.fc = nn.Linear(256, num_chars)

字符分割关键步骤：

二值化：自适应阈值法处理光照不均
投影分割：垂直投影找字符间隙
宽高比校验：过滤非字符区域
位置校正：按车牌标准排列字符顺序

4. 工程落地优化策略

4.1 速度优化方案

多线程处理框架：

from concurrent.futures import ThreadPoolExecutor def process_frame(frame): # 检测+识别流程 return result with ThreadPoolExecutor(max_workers=4) as executor: future = executor.submit(process_frame, frame)

模型量化实践：

python export.py --weights yolov5s.pt --include onnx --dynamic python -m onnxruntime.tools.convert_onnx_models_to_ort yolov5s.onnx

4.2 实际部署问题排查

典型问题及解决方案：

问题现象	可能原因	解决方案
漏检新能源车牌	训练数据缺少绿色车牌样本	添加新能源车牌数据增强
字符误识别	模糊/倾斜导致分割错误	添加透视变换增强
夜间识别率低	光照不足导致对比度差	添加低光照增强数据
GPU利用率低	图像预处理在CPU进行	使用TensorRT加速