1. 项目概览与方案选型背后的逻辑
1.1 毕设选“车牌识别”这个题目，到底在做什么
说句实在话，车牌识别这个题目已经被做烂了，但每年还是有一大批人往这个方向上走。原因也很简单：它既有清晰的图像处理流程，又能融入深度学习，还带着一个看起来很有应用价值的落地场景。无论是本科毕设还是研究生的小项目，拿它来展示“从图像输入到结构化输出”的完整链路，都是非常合适的。
基于机器视觉的车牌识别系统，核心流程就四件事：图像采集、车牌定位、字符分割、字符识别。听起来简单，真做起来坑不少。第一个坑是光照，白天、夜间、逆光、雨天，同一个相机拍出来的图可能完全不同；第二个坑是角度，车辆一旦不完全正对相机，车牌就是斜的、透视变形的；第三个坑是背景干扰，车身贴纸、红色横幅、绿植都可能被误判成车牌区域。毕设要想拿高分，不是跑通一个Demo就行，而是要把这些问题都考虑到，并且给出合理方案。
这篇博文，我会从方案选型讲到位，把每一步为什么这么做、参数怎么定、坑在哪里都摊开来说。适合正在做毕设的人参考，也适合想系统了解车牌识别全流程的初学者。
1.2 技术路线对比：传统图像处理还是深度学习
我见过很多人在技术上纠结很久，其实关键就两条路线：
第一条是传统图像处理路线：颜色空间转换 + 边缘检测 + 形态学操作定位车牌，再用投影/连通域分割字符，最后用模板匹配或者轻量分类器识别。这条路线的好处是过程完全可控，每一步都能可视化，工作量也很直观，对毕设答辩来说“故事讲得清楚”。缺点是鲁棒性有限，复杂场景容易翻车。
第二条是端到端深度学习路线：用目标检测模型（比如YOLO）直接框出车牌，再用OCR模型（比如CRNN）直接输出文本。效果上限高，多场景适应能力强。但问题在于训练数据量和调参成本都不低，而且在很多毕设场景下，你手中的显卡和数据规模撑不起像样的训练。如果只是去网上找权重直接跑，答辩时老师一问训练细节就容易露馅。
我的建议很明确：毕设场景优先选“传统方法定位 + 深度学习识别”的混合方案。定位环节用OpenCV做颜色和边缘分析，这一部分逻辑清楚、调试方便，出了问题也好解释；字符识别环节用轻量CNN，自己训练一个十几万参数的分类模型，可控性强，精度也够。总体工作量刚好覆盖图像处理、机器学习、模型部署三个维度，内容饱满又不至于失控。
2. 车牌定位：整套系统最容易翻车的地方
2.1 定位策略：从“找颜色”到“找矩形”
车牌定位是整个系统里最值得花时间打磨的模块。如果定位框歪了，后面的分割和识别全都白费。定位的基本思路可以拆成两条线并行：
第一条线是颜色搜索。中国大陆车牌主要有蓝底白字、黄底黑字、白底黑字（军警）、绿底黑字（新能源），其中蓝牌最常见。只要把图像转到HSV色彩空间，筛选出蓝色像素的掩码，再用形态学算子把零散像素聚合成块，就能圈出候选区域。第二条线是边缘搜索。车牌区域有密集的字符边缘，用Canny算子提取边缘后，车牌附近会形成高密度边缘簇，配合梯度信息也能锁定候选区。
两条线不是二选一，而是交叉验证。只靠颜色会在蓝色车身、蓝色广告牌上栽跟头；只靠边缘又会把散热器格栅、路面纹理误判成车牌。我的做法是分别得到两个候选框集合，再计算交集或距离IoU，两个来源都命中的区域优先保留，单边命中但形态特别像车牌的作为候补。实测下来，这种融合策略能把定位准确率从单方法的90%左右拉到97%以上。
2.2 HSV参数怎么调才有普适性
HSV是Hue（色相）、Saturation（饱和度）、Value（明度）的缩写，比RGB更适合做颜色筛选，原因是它把“颜色”和“亮度”解耦了。调HSV阈值有个容易踩的误区：只看单张图调参，换一批图就失效。
我的经验是，蓝牌判定范围不要卡得太死。纯蓝色H值在100到124之间，但实际照片里因为白平衡误差，蓝色会偏到90或者飘到130，S值和V值也受光照影响很大。所以我通常把范围放宽到H在85到135之间，S大于60，V大于60。如果有条件，可以采集几十张不同时段、不同角度的车牌图做统计，在图上标出蓝色像素点，看它们在HSV空间里的分布范围，再据此定阈值。这个方法比拍脑袋靠谱得多。
形态学操作这边，闭运算的作用是填补字符之间的细小空隙，把“字”连成“块”。车牌是长条形，所以我用水平方向更长的核，比如15x3的矩形核。先做一次闭运算，再做一次开运算去掉孤立噪点。核选太大容易和旁边区域粘连，选太小又填不满字符间隙，这个尺寸需要按实际图像分辨率缩放，一个比较稳的经验值是：图片缩放后车牌宽度大约占整体宽度的1/3时，15x3基本够用。
import cv2 import numpy as np img = cv2.imread("car.jpg") img = cv2.resize(img, (640, 480)) hsv = cv2.cvtColor(img, cv2.COLOR_BGR2HSV) # 蓝色车牌掩码 lower_blue = np.array([85, 60, 60]) upper_blue = np.array([135, 255, 255]) mask = cv2.inRange(hsv, lower_blue, upper_blue) # 闭运算填补字符间隙，开运算去噪 kernel = cv2.getStructuringElement(cv2.MORPH_RECT, (15, 3)) closed = cv2.morphologyEx(mask, cv2.MORPH_CLOSE, kernel) opened = cv2.morphologyEx(closed, cv2.MORPH_OPEN, kernel) # 查找轮廓 contours, _ = cv2.findContours(opened, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE) for cnt in contours: x, y, w, h = cv2.boundingRect(cnt) ratio = w / h area = w * h # 典型车牌宽高比约3.14，放宽到1.8~6.5 if 1.8 < ratio < 6.5 and area > 1500: cv2.rectangle(img, (x, y), (x + w, y + h), (0, 255, 0), 2)2.3 定位效果自检：四个硬指标
调试定位模块时，别靠肉眼看两三张图就说“没问题”。我习惯用四件事来量化评估：
第一，正检率，也就是候选框到底是真车牌的比例。第二，重叠度，预测框与人工标注框的IoU，至少要大于0.7才能保证后面分割正确。第三，漏检率，最难判断的一条，因为漏检意味着程序里根本没出现该有的候选框，需要专门跑一批包含夜间、远距离、倾斜场景的困难样本。第四，误检率，最常见的是把蓝色皮卡车身或红色条幅当成了车牌。
定位失败的高发场景主要集中在：光照过暗导致蓝色信息丢失、车身广告大块蓝底、车牌严重倾斜变形。针对暗光问题，我建议在进入HSV分析前先做一次直方图均衡化，或者用带色彩恢复的多尺度Retinex算法增强；针对大块同色物体，加上“内部纹理密度”的判断——真正的车牌区域内部应该有明显的字符边缘，而一块纯色广告牌内部往往是光滑的，可以用Canny提取边缘后统计候选区域内的边缘密度来过滤。
3. 字符分割与识别：从“切碎”到“认字”
3.1 倾斜校正：不矫正，后面全白搭
车牌定位框出来后，通常带一点倾斜角度，尤其是车辆从远处斜着进入画面时。如果不做校正，字符的垂直投影无法对齐，分割会出错。倾斜校正的常规做法是求最小外接矩形，拿到旋转角度，再反向旋转。这个办法对付小角度倾斜（15度以内）很有效，但角度一大，矩形框会把背景也包进来，反而更糟。
我后来换了一种策略：在定位框内部先用Canny找边缘，再对边缘点做霍夫变换，提取角度最集中的直线，以这条线的角度作为校正基准。这个方案比最小外接矩形稳定，即使车牌边框被部分遮挡也能从字符边缘算出倾斜角。旋转之后，还需要做一次透视校正，把车牌投影成标准正矩形，这步用OpenCV的getPerspectiveTransform加warpPerspective就能完成。
有一种观点认为车牌识别里的倾斜校正可以省略，让深度学习直接学习特征。但我的经验是，校正之后字符分割的稳定性明显更好，而且后面CNN识别时输入图像更规整，模型需要的训练数据也更少。对毕设来说，把这步做好，得分点比想象中多。
3.2 字符分割：投影法还是连通域法
字符分割最常见的方法是垂直投影法：把二值化后的图像按列统计白色像素数，字符之间的间隔处投影值接近0，投影波谷就是切割点。这个思路简单，但有个致命问题——汉字结构复杂，“赣”这种字笔画之间可能断开，导致一个汉字被切成多块。
我给的建议是：先做形态学闭运算把汉字内部断开的部分重新连起来，再进行投影分割。另有一个更稳的替代方案是连通域分析：在二值图上找出所有独立的连通区域，根据区域宽高比过滤掉铆钉、边框和分隔点，剩下的区域按x坐标排序，自然就是字符序列。这个方法不容易把汉字切成两半，但缺点是当两个字符因分辨率低而粘连时，会被合并成一个区域，需要额外判断“区域宽度明显大于正常字符”时执行二次分割。
还有一个细节：常规蓝牌是7位字符，第一位是汉字省份简称，第二位是大写字母，第三到第七位是字母和数字混排。但新能源车牌是8位，比常规牌长一截，处理时要对不同规格使用不同的投影阈值或区域数量校验，不能写死“必须切出7块”。
def split_chars(binary_img): # 去除上下边缘的空白 rows = np.any(binary_img, axis=1) cols = np.any(binary_img, axis=0) rmin, rmax = np.argmax(rows), rows.shape[0] - 1 - np.argmax(rows[::-1]) cmin, cmax = np.argmax(cols), cols.shape[0] - 1 - np.argmax(cols[::-1]) binary_img = binary_img[rmin:rmax + 1, cmin:cmax + 1] # 垂直投影 col_sum = np.sum(binary_img, axis=0) threshold = 20 in_char = False split_points = [] for i, val in enumerate(col_sum): if val > threshold and not in_char: split_points.append(("start", i)) in_char = True elif val <= threshold and in_char: split_points.append(("end", i)) in_char = False pieces = [] for idx in range(0, len(split_points) - 1, 2): start = split_points[idx][1] end = split_points[idx + 1][1] if end - start > 5: # 过滤掉噪声点 pieces.append(binary_img[:, start:end]) return pieces3.3 识别模型的网络设计和训练细节
字符识别是整条流水线的最后一步。模板匹配这种老办法虽然快，但抗干扰能力差，稍微有点模糊或者笔画粗细变化就识别错了。我的选择是轻量CNN，结构参考了经典的VGG思想，但整体参数控制在150万以下，保证CPU也能实时跑。
网络设计大致如下：输入图像统一resize到32x32灰度图，第一层卷积输出32通道，第二层输出64通道，跟着一层最大池化；第三层卷积输出128通道，再做全局平均池化，最后接全连接层输出分类数。分类数这里有个讲究：汉字类别通常31个，大写字母24个（去掉I和O），数字10个，加起来65类。有些实现是把汉字单独做一个模型、字母数字做另一个模型，这样做的好处是分类难度下降，缺点是要维护两组模型。我的方案是直接一个大类，实测识别精度足够，逻辑也简单。
训练阶段，数据集要保证每类样本量均衡，至少每类500张以上。数据增强一定要做：随机亮度抖动、对比度变化、高斯模糊、轻微旋转和小幅度平移。我当时用手动采集加程序合成的混合数据，效果最好的组合是30%真实样本加70%合成样本。合成不是随便贴字，而是要把字体渲染到车牌的蓝色底上，再做透视变换和光照模拟，否则模型学的全是渲染特征，一到真实场景就失灵。
分类损失用交叉熵，优化器用Adam，初始学习率0.001，训练20个epoch后降到0.0001。这批配置不算最优，但胜在稳定，不容易出现训练发散。
4. 实操过程：从环境搭建到跑通全流程
4.1 环境、数据集和评价指标
环境方面，我的建议是别一上来就装GPU版的深度学习框架，先用CPU把流程跑通。选Python 3.9加OpenCV 4.x加PyTorch 2.x的组合，安装命令无非pip install opencv-python torch onnxruntime。如果你的机器有NVIDIA显卡，可以装CUDA版PyTorch，但代码层面不需要做任何特殊处理，PyTorch会自动调用GPU。
数据集这边，公开可用的车牌数据集不少，但毕设直接下载别人整理好的数据也可以，不过答辩时最好能说清楚数据是怎么处理的。我自己更推荐混合策略：一部分用公开数据集，一部分自己拍或合成。自己合成车牌数据有个意想不到的好处，就是可以把汉字、数字、字母的分布控制得非常均匀，避免数据不均衡导致某些字符识别率低。
评价指标要定清楚：字符级准确率，即所有被分割出来的字符中，识别正确的比例；整牌准确率，即一整块车牌7个字符全部识别正确的比例。整牌准确率会远低于字符准确率，因为整牌正确要求每个字符都对，误差会连乘。如果你拿到90%的字符准确率，那整牌准确率大概只有65%到70%，这个数学关系需要提前有心理预期。提升整牌准确率的关键不是单个字符更准，而是把容易混淆的字符对分开处理。
4.2 从图片到识别结果的核心代码框架
整个识别流程可以封装成三个类：车牌定位器（PlateDetector）、字符分割器（CharSegmenter）、字符识别器（CharRecognizer）。主流程就是把三者的process方法串在一起。我把核心代码贴在下面，注意我这里用ONNX做推理，这样模型可以脱离PyTorch环境运行。
import cv2 import numpy as np import onnxruntime as ort class PlateRecognizer: def __init__(self, onnx_path): self.session = ort.InferenceSession(onnx_path) self.input_name = self.session.get_inputs()[0].name def preprocess(self, img): img = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY) img = cv2.resize(img, (32, 32)).astype(np.float32) / 255.0 img = np.expand_dims(img, axis=0) # 加batch维 img = np.expand_dims(img, axis=0) # 加channel维 return img def predict_char(self, char_img): data = self.preprocess(char_img) output = self.session.run(None, {self.input_name: data})[0] return int(np.argmax(output)) class RecognizerPipeline: def __init__(self, detector, segmenter, recognizer, class_list): self.detector = detector self.segmenter = segmenter self.recognizer = recognizer self.class_list = class_list def run(self, image_path): img = cv2.imread(image_path) plate_roi = self.detector.locate(img) if plate_roi is None: return None chars = self.segmenter.split(plate_roi) result = "".join([ self.class_list[self.recognizer.predict_char(c)] for c in chars ]) return result训练完成后的模型导出成ONNX格式是一个值得做的操作。PyTorch内置的torch.onnx.export就能完成导出，导出后不仅推理速度更快，部署时也不需要安装完整的PyTorch。这个点放在论文里就是一个很实在的工程创新点。
4.3 实测数据与调参记录
我在一个测试集上跑过一组完整对照实验，测试集包含白天、傍晚、夜间三个时段，图像分辨率统一缩放到640x480。定位的召回率在白天是99%，傍晚94%，夜间85%。夜间掉得最厉害，主要原因是补光不足导致蓝色像素成片地变成黑色。后来我在定位前加了一步多尺度Retinex增强，夜间召回率直接拉到92%。这说明预处理在光照不理想时影响极大。
字符分割的准确率测试下来是96%左右，误分割主要出现在“冀”这类笔画多的汉字上。字体笔画一旦互相粘连，形态学的闭运算会把这些笔画连成一个整体区域，导致与下一字符粘连。把闭运算的核从15x3改成9x3之后，粘连问题缓解了一些，但字符内部的断裂又变多了一点。这个参数本质上是一个需要在“断裂与粘连”之间做取舍的权衡，最终我选择在分割后增加一次固定宽度的字符数量校验，不够7块就退回用滑窗重新切。
字符识别的准确率最高，测试集上达到98.8%，整牌准确率是91%。这个数字看起来不错，但与字符准确率一比就凸显了整牌识别的难度。后来我加入了语言模型校正，就是利用车牌第2位必须是字母、后5位不能连续出现两个字母这样的规则对模型输出做修正，整牌准确率提升到了94.5%。规则虽然简单，但对实际系统增益显著。
5. 常见问题与排查技巧实录
5.1 高频Bug速查表
我把实操中反复出现的几类问题整理成了一张表，碰到类似现象可以直接查：
| 现象 | 可能原因 | 排查与解决办法 |
|---|---|---|
| 蓝色车牌区域检测不到 | HSV阈值范围太小或图像太暗 | 拉大H范围，先做直方图均衡化或Retinex增强 |
| 车身边缘被误检成车牌 | 车身纹理与字符边缘相似 | 增加颜色掩码交集验证，或统计候选区域内边缘密度 |
| 字符分割把一个汉字分成两块 | 汉字笔画不连通 | 先用较小核做闭运算，再测投影，不要一上来用大核 |
| 两个相邻字符粘连 | 二值化阈值不适合 | 改用自适应阈值的二值化方法，或检查是否该用滑窗切分 |
| 夜间识别率骤降 | 低照度导致纹理丢失 | 加补光灯，或在预处理阶段做低照度增强 |
| 识别时把“0”和“O”混淆 | 分类特征不够 | 增加这两类的训练样本，配合规则后处理锁定 |
| 程序在某张图中闪退 | 定位返回空区域或图像尺寸为0 | 在分割和识别前加if plate_roi is None or plate_roi.size == 0的防御判断 |
5.2 排查方法：不要“盲调”，要可视化
遇到问题别急着改参数，先把中间结果可视化出来。我在开发过程中写了一个调试开关，运行时会弹出四个窗口：原图、HSV掩码、形态学处理结果、候选框绘制。这个开关看似不起眼，但能把定位失败的环节精确锁定到哪一步出错。比如掩码是好的但候选框不对，那问题在轮廓筛选参数；如果掩码本身就很糟，那问题在颜色阈值或预处理。
另一个更隐蔽的问题是数据集泄露。有些人做毕设时会先用训练集调参，再在测试集上验证，这没问题；但如果你同时在测试集上调了阈值，那测试集就不再客观，最终准确率是虚高的。正确做法是划分训练集、验证集、测试集三部分，验证集用来调超参数，测试集只允许在最后跑一次。这个方法论在答辩时提出来，老师对你的加分是明显的。
5.3 提升系统鲁棒性的一个冷门技巧
识别关键帧前，对图像做多尺度的金字塔处理往往有奇效。做法是把原图分别放大1.2倍和缩小0.8倍，对三个尺度各做一次定位，然后取置信度最高的结果。这样能显著改善小目标车牌或者超大目标车牌的情况。代价是耗时增加两倍左右，但对视频帧处理来说，可以在保证实时性的前提下对关键帧做这种增强处理，不必每帧都跑三遍。
还有一个容易被忽略的点：相机的白平衡设置。大部分相机在自动白平衡下会把白色物体调成灰色，从而改变蓝色车牌的色相。我早期采集的数据里有一批图像整体偏黄，导致蓝色H值全部偏移到阈值之外。固定相机白平衡为荧光灯模式，或者做一次灰世界白平衡校准，都能缓解这个问题。
6. 写在最后：给做毕设的人几句实在话
如果让我总结这个项目最核心的收获，不是模型精度多高、系统跑得多快，而是我彻底搞明白了“一个图像项目从想法到落地到底要经历什么”。在教科书上，“车牌识别”就是一张流程图，四五个方框串起来。但实际做下来，每个方框背后都是一大堆边缘情况和折中决策：光照不够怎么办、算力有限怎么取舍、模型误判怎么兜底。
我给想复现这个项目的人一个建议：不要追求一步到位跑出一个98%准确率的系统，先搭一个端到端能跑的全流程，哪怕每一步效果都很糙。只要流程通了，你就能定位到瓶颈在哪，然后集中火力去优化那个最影响结果的环节。多数情况下，瓶颈都在定位而不是识别，这是我调了好几天参数才悟出来的。
还有一个答辩时很加分的小技巧：准备一份简单的视频演示，用电脑摄像头对准打印出来的车牌图片或者模拟场景，实时跑一遍识别过程。说实话，算法原理大家都懂，但能现场跑起来就足以说明你的实现是完整的，这比讲十页PPT都有说服力。
这个项目后续还能继续扩展的方向不少。比如加上车辆品牌识别、车型分类，或者把单张图片识别升级成多目标跟踪系统，让识别结果能关联到同一辆车在连续帧中的轨迹。我对这些方向的理解是，它们本质上还是“目标检测 + 特征提取 + 结构化输出”的老套路，只是换了不同的对象和数据来源。把车牌识别这个项目吃透，再去做别的视觉任务，很多思路是相通的。
