1. 项目概述
车牌识别系统作为智能交通领域的核心技术之一，在停车场管理、高速公路收费、违章抓拍等场景中发挥着重要作用。传统基于图像处理的车牌识别方法在复杂环境下（如光照变化、角度倾斜、污损遮挡等）表现欠佳，而深度卷积网络凭借其强大的特征提取能力，正在逐步取代传统方案。
这个项目采用YOLOv3+LPRnet双网络架构，通过几何校正技术提升倾斜车牌的识别准确率。我在实际部署中发现，这套方案在白天场景下能达到98.7%的检测率，夜间配合红外补光也能保持92%以上的识别准确度。
2. 核心架构设计
2.1 系统工作流程
- 图像采集：通过200万像素工业相机获取视频流，分辨率设为1920×1080
- 车牌检测：YOLOv3网络定位车牌位置（输出边界框坐标）
- 几何校正：基于透视变换矫正倾斜角度（最大支持±45°偏转）
- 字符识别：LPRnet网络分割识别车牌字符
- 结果输出：结构化数据（车牌号+置信度+时间戳）
关键点：工业相机需要设置固定焦距（建议3.6mm）和手动白平衡，避免自动调整导致的图像质量波动
2.2 网络选型对比
| 方案 | 检测速度(FPS) | 准确率(%) | 模型大小(MB) |
|---|---|---|---|
| YOLOv3 | 45 | 98.2 | 237 |
| Faster RCNN | 12 | 98.5 | 523 |
| SSD | 60 | 96.8 | 180 |
选择YOLOv3的原因：
- 满足实时性要求（>30FPS）
- 对小目标检测效果优于SSD
- 模型大小适合边缘设备部署
3. 关键技术实现
3.1 YOLOv3检测网络优化
修改原网络结构：
- 将输入分辨率从416×416提升到608×608
- 增加P4特征层（52×52网格）提升小车牌检测能力
- 使用K-means++重新聚类锚框（得到更适合车牌的3组9锚框）
训练参数配置：
# Darknet框架配置示例 [net] batch=64 subdivisions=16 width=608 height=608 learning_rate=0.001 max_batches=60000 [yolo] mask=6,7,8 anchors=10,13, 16,30, 33,23, 30,61, 62,45, 59,119, 116,90, 156,198, 373,3263.2 几何校正算法
采用改进的透视变换：
- 通过YOLOv3获取车牌四角坐标
- 使用RANSAC算法剔除异常点
- 计算单应性矩阵H：
[u'] [h11 h12 h13][u] [v'] = [h21 h22 h23][v] [1 ] [h31 h32 1 ][1] - 双线性插值生成校正后图像
实测数据：校正后字符识别准确率提升27%（从68%到95%）
4. LPRnet字符识别
4.1 网络结构特点
- 输入层：24×94灰度图（车牌归一化尺寸）
- 特征提取：18层深度可分离卷积
- 序列建模：双向LSTM处理字符上下文关系
- 输出层：CTC损失函数解决不定长识别
4.2 数据增强策略
为提高模型鲁棒性，训练时采用：
- 随机椒盐噪声（密度0.05）
- 运动模糊（最大核尺寸15×15）
- 亮度调整（±30%范围）
- 仿射变换（±10°旋转）
5. 部署优化技巧
5.1 TensorRT加速
在NVIDIA Jetson Xavier上测试：
- FP32模式：推理时间从58ms降至23ms
- FP16模式：进一步降至15ms（精度损失<0.5%）
关键命令：
trtexec --onnx=lprnet.onnx --saveEngine=lprnet.engine --fp165.2 多线程处理方案
采用生产者-消费者模式：
- 采集线程：专责图像获取（OpenCV VideoCapture）
- 检测线程：运行YOLOv3模型
- 识别线程：处理LPRnet推理
- 结果线程：数据存储与通信
注意：线程间用双缓冲队列传递数据，队列长度建议设为3（平衡延迟和内存占用）
6. 常见问题排查
6.1 检测漏报问题
可能原因及解决方案：
- 车牌反光：增加偏振镜或调整光源角度
- 距离过远：检查相机焦距是否合适（车牌宽度应占图像1/8以上）
- 极端角度：补充安装侧向相机
6.2 字符识别错误
典型错误模式：
- 混淆字符：'0'与'D'、'5'与'S'
- 分割错误：新能源车牌分隔符识别异常
改进方法：
- 在CTC解码阶段加入语言模型（统计车牌字符出现概率）
- 针对特殊车牌类型单独训练子模型
7. 效果评估指标
在自有测试集（含5000张各类场景车牌）上的表现：
| 场景 | 检测率(%) | 识别准确率(%) |
|---|---|---|
| 白天正视角 | 99.2 | 98.7 |
| 夜间逆光 | 91.5 | 89.3 |
| 雨雪天气 | 88.7 | 85.4 |
| 倾斜>30° | 95.1 | 92.6 |
实际部署中发现，模型对污损车牌的识别能力仍有提升空间。后续计划引入注意力机制和对抗样本训练来增强鲁棒性。
