简介：基于深度学习与计算机视觉的智能校园安全监控系统项目资料，源自华南理工大学大学生创新创业训练计划，面向目标检测、图像处理及校园安防系统开发的学生与研究者，可用于快速理解YOLOv5与OpenCV在实际场景中的集成方案。项目围绕校园异常行为检测与预警展开，涵盖视频帧预处理、目标分类定位、行为识别及声光报警机制，并针对光照变化、背景干扰、监控视角局限等复杂情况给出了系统设计与参数调优方向。压缩包共213个文件、约3.03MB，以Java与XML源码为核心，同时包含PNG界面资源、HTML说明文件、JAR依赖库、TXT使用说明、属性及环境配置文件、项目报告等，源码仓库、配置和文档均包含在内，便于读者检查依赖、复现实验或进行二次开发。已有92人学习，适合需要参考完整大创项目结构、掌握从数据采集到预警触发的端到端智能监控流程的读者，可从中获得代码、配置、说明与报告一体的实践资料。
1. 校园安全监控为什么要自己训练YOLOv5：一套大创项目的可靠落地路线
高校保卫处的值班室里，一排屏幕实时滚着二十多路摄像头画面，值机员眼睛再快也没法同时盯住每个角落。传统监控系统的作用是“事后回放”，而标题里的“异常行为检测与预警”要的是“提前几秒告诉你有事发生”。这个方案的核心，是把深度学习与计算机视觉接到现有摄像头后面：用YOLOv5做目标检测，把画面中的人、摔倒的肢体轮廓框出来，再用OpenCV做图像处理，分析框的位置、宽高比和运动轨迹，判断是否该触发预警。它尤其适合正在做大学生创新创业训练计划的团队、拿这个题做毕业设计的同学，以及那些摄像头齐全但不想换硬件的校园信息化改造项目。
选这条路线还有一个现实理由：学校现有的摄像头大多只支持RTSP取流，没有智能分析能力。与其花大价钱换支持AI的摄像机，不如在机房一台普通GPU服务器上把这套检测系统跑起来。这也是大创项目里少有的“成本低、演示效果直观、答辩时能现场演示”的方向。
2. 搭起YOLOv5+OpenCV检测底座：环境配置、摄像头取流与最小推理闭环
这个项目里最容易被低估的不是算法，而是第一步的环境。很多人照着网上的教程把YOLOv5源码下载下来，却卡在依赖冲突上，最后连一张测试图都跑不出来。这里的经验是：先搭一个干净的conda环境，再把官方detect.py跑通，最后才接入真实摄像头。顺序错了，后面训练时你根本分不清是模型问题还是环境问题。
2.1 conda环境与YOLOv5源码准备：装依赖前先决定两件事
装环境前先拍板两件事：用哪个Python版本，用GPU还是CPU。前者决定你后面会不会被一堆编译报错缠住，后者直接决定训练一轮要等多久。我的默认组合是Python 3.9 + PyTorch的CUDA 11.8预编译包，这套组合在YOLOv5的生态里踩坑最少。如果你的机器没有NVIDIA显卡，也可以装CPU版先跑通推理，训练就用云主机或者实验室的GPU服务器。
# 创建独立的conda环境，Python版本固定为3.9 conda create -n campus_safe python=3.9 -y conda activate campus_safe # 有NVIDIA显卡就装CUDA 11.8对应版本；纯CPU机器去掉--index-url参数 pip install torch torchvision --index-url https://download.pytorch.org/whl/cu118 # 拉取YOLOv5官方源码 git clone https://github.com/ultralytics/yolov5 cd yolov5 # requirements.txt里已锁定opencv-python等依赖的版本，直接装 pip install -r requirements.txt # 验证OpenCV安装成功，顺便看下版本 python -c "import cv2; print(cv2.__version__)"这段命令的逻辑是：conda环境把你的项目依赖跟系统Python隔离，避免把系统环境弄乱；PyTorch是YOLOv5的推理后端，CUDA版本必须和显卡驱动匹配，11.8是当前兼容面最广的一个；requirements.txt是YOLOv5官方维护的依赖清单，里面已经包含了OpenCV，不需要单独再装一份。参数上要注意，如果你用的不是NVIDIA显卡，却强行带--index-url装CUDA版，后面import torch会直接报错，所以纯CPU机器就不要加这个参数。还有pip install时必须先进入yolov5目录，否则它会找不到相对路径下的requirements.txt。
Python版本这里宁可保守。别看到Python 3.12就想尝鲜，YOLOv5里不少依赖在3.10以上的版本里容易出现二进制兼容问题。用3.9不是因为它新，而是因为社区里跑通的人最多，遇到问题搜一下答案基本都现成。环境配到这个程度，才算真正把“yolov5环境配置”这一段踩实了。
2.2 跑通官方detect.py：先认识conf、iou、imgsz这三个关键参数
环境装好之后，先别急着改代码。直接跑一遍官方自带的推理脚本，它能一次性验证权重、模型结构和OpenCV画框这三个环节是否正常。这一关没过，后面接摄像头时出了问题你都不知道该查谁。
# 用官方yolov5s权重测试一张图片；weights缺省时会自动下载 python detect.py --weights yolov5s.pt --source test.jpg --conf-thres 0.25 --iou-thres 0.45 --imgsz 640跑完去runs/detect/exp目录看结果，如果test.jpg上出现了带着类别标签的彩色框，说明链路通了。这里conf-thres是置信度阈值，意思是模型对某个框的把握低于0.25就丢掉，值调高能减少误报但也会漏掉小目标；iou-thres是NMS的IoU阈值，值越大，两个重叠的框越容易被合并成一个；imgsz是输入网络的边长，640是速度和精度的平衡点，显存小或者用CPU推理时改成320能快不少。官方默认参数先别动，等摸清自己数据的分布再去调。
这一步的意义不在于测一张图，而在于验证你的环境是“可用”的。很多同学跳过这一关直接训练，等训练时发现报错，根本分不清是环境缺包还是训练脚本的问题，最后白白浪费几小时甚至一天。跑通detect.py之后，后面所有改动都有了对照基线。
2.3 用OpenCV读取RTSP摄像头替换图片输入：最小实时推理循环
校园摄像头通常走RTSP协议，OpenCV的VideoCapture可以直接拉流。把detect.py的图片输入换成while循环读帧，是把这个项目从“图片演示”变成“实时监控”的关键一步。这里给出一个最小实现，它足够你在实验室里验证效果。
import cv2 import torch # 用官方权重加载模型；pretrained=True表示自动下载yolov5s.pt model = torch.hub.load('ultralytics/yolov5', 'yolov5s', pretrained=True) model.conf = 0.25 # 置信度阈值，监控场景建议后续调到0.4以上 model.iou = 0.45 # NMS的IoU阈值 model.max_det = 50 # 每帧最多保留50个检测框 # RTSP地址以实际摄像头为准；0表示本地USB摄像头 cap = cv2.VideoCapture('rtsp://192.168.1.64:554/Streaming/Channels/101') while True: ret, frame = cap.read() if not ret: print('摄像头取流失败，检查RTSP地址') break # YOLOv5推理：内部自动完成BGR转RGB、letterbox缩放和归一化 results = model(frame, size=640) # 直接把检测结果画到原帧上，返回的仍是BGR格式的numpy数组 annotated = results.render()[0] # OpenCV窗口显示，按q退出 cv2.imshow('campus_safety', annotated) if cv2.waitKey(1) & 0xFF == ord('q'): break cap.release() cv2.destroyAllWindows()这段代码的关键点有三个。第一，torch.hub.load是懒人方案，适合验证，但正式项目里我一般直接用本地clone的源码和weights参数加载权重，因为hub方式每次都要检查网络，离线场景会翻车。第二，model(frame, size=640)一步完成了预处理、推理、后处理，results.render()会返回画好框的帧，你不需要手动写NMS，这些细节YOLOv5都封装好了。第三，OpenCV在这里干的活是取流、显示和画框，它是介于摄像头和模型之间的“搬运工”。
参数上，waitKey(1)表示窗口刷新间隔1毫秒，实际帧率受推理耗时控制，一轮循环大约20到30毫秒，可以稳定跑到20FPS以上。如果你接的是RTSP流，记得确认摄像头的编码是H.264，有些老旧摄像头输出MJPEG，OpenCV的VideoCapture拉不了。只做CPU推理的话，把size=640改成320、模型换成yolov5s的小兄弟yolov5n，能缓解不少，但精度下降也比较明显。这一节跑通，就等于拿到了整条检测管线的“地基”。
3. 把通用YOLOv5调成校园专用模型：自建数据集、VOC转YOLO与最该调的4个超参数
3.1 为什么不能直接用yolov5s.pt检测异常行为
yolov5s.pt是在COCO数据集上训练的，它只认识person、dog、car这类通用类别，能告诉你“这里有个人”，但没法告诉你“这个人摔倒了”。而校园异常行为检测要求的是场景化语义——同样是一个人躺在地上，在操场上可能是休息，在楼梯口可能就是摔倒。解决这个问题要靠迁移学习：用自己的标注数据对YOLOv5做微调，保留它在通用物体上的特征提取能力，同时让模型重新学会“摔倒的人”和“奔跑的人”这些新类别。
这个方案里“训练自己的数据集”是必经环节。常见做法是，第一版只定义3到4个异常类别，比如fallen_person（摔倒）、running_person（奔跑——用于走廊追逐）、intrusion（禁区闯入，通过后文ROI逻辑处理）、crowd（聚集）。类别一定要克制，每多一个类别，需要的标注样本量就成倍增长。大创项目的周期有限，把类别控制在4个以内，数据量才攒得出来。
这里顺带解释一个原理：YOLOv5的权重是分层的，浅层负责颜色和边缘，深层负责语义。微调时通常冻结前几层，只更新后面的卷积层，所以即使你的数据和COCO差异很大，训练收敛也比从零开始快得多。这也是为什么你只需要几千张标注图而不是几十万张。
3.2 数据准备与标注：VOC转YOLO格式的转换脚本
数据来源一般有三个：网上能找到的公开跌倒检测数据集、校园监控的现有录像截图、以及自己拿手机在相似场景补拍的片段。我的习惯是每个类别凑到1500到2000张，其中负样本（正常行走、正常站立的人）占一半，负责压住误报。标注工具用labelimg，它支持画出矩形框并直接导出VOC格式的XML文件。YOLOv5训练需要的是每个图片对应一个同名txt，里面每行写类别编号和归一化后的框坐标。
转换脚本是我每次做检测项目都会用到的模板，逻辑简单但容易写错，贴出来可以直接套用。
import os import xml.etree.ElementTree as ET def convert_voc_to_yolo(xml_dir, out_dir, classes): # 遍历VOC标注目录下的所有XML文件 for xml_file in os.listdir(xml_dir): if not xml_file.endswith('.xml'): continue tree = ET.parse(os.path.join(xml_dir, xml_file)) root = tree.getroot() # 读取图片真实宽高，用于坐标归一化 img_w = int(root.find('size/width').text) img_h = int(root.find('size/height').text) with open(os.path.join(out_dir, xml_file.replace('.xml', '.txt')), 'w') as f: for obj in root.iter('object'): cls = obj.find('name').text if cls not in classes: continue box = obj.find('bndbox') x1, y1, x2, y2 = [float(box.find(t).text) for t in ('xmin', 'ymin', 'xmax', 'ymax')] # 转换为中心点+宽高的归一化格式 cx = (x1 + x2) / 2 / img_w cy = (y1 + y2) / 2 / img_h w = (x2 - x1) / img_w h = (y2 - y1) / img_h f.write(f"{classes.index(cls)} {cx:.6f} {cy:.6f} {w:.6f} {h:.6f}\n") print('转换完成，请检查输出目录下的txt文件') classes = ['person', 'fallen_person', 'running_person', 'crowd'] convert_voc_to_yolo('annotations', 'labels', classes)说明一下代码逻辑：XML里的bndbox存的是左上角和右下角的像素坐标，而YOLO格式要求的是相对于图片宽高的中心点坐标和宽高，所以先算中心点再统一除以img_w和img_h。classes列表的顺序一旦定下来就不能改，训练时用的顺序和推理时写死的顺序必须完全一致，否则类别标签会对不上，这是最隐蔽的错误之一。标注时还有个容易忽略的细节：摔倒的人的框要尽量框住全身，包括蜷缩的腿，不能只框躯干——因为后面我们要用框的宽高比来辅助判摔倒，框得不完整会把几何特征破坏掉。
3.3 配置数据集yaml并启动训练：4个超参数最值得调
训练之前先按YOLOv5的约定组织目录结构，images和labels平行，train和val分开。然后在yolov5/data目录下建一个campus.yaml，内容如下：
train: data/campus/images/train val: data/campus/images/val nc: 4 names: ['person', 'fallen_person', 'running_person', 'crowd']yaml写好后，训练命令就是一行：
python train.py --data data/campus.yaml --weights yolov5s.pt --epochs 100 --batch-size 16 --imgsz 640 --device 0训练时最值得调的4个超参数按优先级排序：batch-size、imgsz、epochs、lr0。batch-size取决于显存，8G显存跑yolov5s时16通常就是上限，再大就会OOM；imgsz建议默认640，除非你的摄像头画面较小或者对速度很敏感；epochs对迁移学习来说100起步，同时打开早停patience=20，loss连续20轮不降就自动停，不用干等；lr0是初始学习率，默认0.01对大多数场景适用，但如果loss在0.7附近抖成一条直线，把lr0调成0.005重开一轮，往往能救回来。
训练结束后看两个东西：runs/train/exp下的results.png，重点看val_loss是否持续下降，以及训练完跑一遍val.py，看mAP@0.5。校园监控这种场景，mAP@0.5到0.85以上基本就能用，但这个数字只是参考，最终要以真实摄像头下的误报率为准。很多人盯着loss值焦虑，其实loss绝对值没有统一标准，不同数据集差别很大，趋势比数值重要。
4. 从检测框到异常行为预警：摔倒、闯入、聚集的判定逻辑与OpenCV后处理
4.1 异常行为识别不需要第二套模型：检测框就是富矿
很多人把这个项目想复杂了，以为除了YOLOv5还得再训练一个分类器去识别行为。实际上，YOLOv5输出的每一帧检测框（坐标、宽高、置信度）本身就是行为分析的数据源。摔倒可以看成目标由站立到躺平的过程：框的宽高比从大于1突变到小于1，同时中心点快速下移。闯入可以看成检测框的位置与预设禁区多边形的包含关系。聚集可以看成某个区域内检测框数量在时间窗口内激增。这些判定用OpenCV的几何函数和简单的帧间状态机就能实现，既省了标注成本，推理速度也快。
这也回答了“计算机视觉和机器学习区别”那个常见疑问：模型负责“看到”目标，OpenCV这类图像处理手段负责“理解”目标之间的空间与运动关系。两块拼起来才是完整的监控智能。
4.2 摔倒判定：宽高比加下坠速度双条件
摔倒识别的核心是防止把蹲下、系鞋带、弯腰捡东西误报。深度学习的经验是单帧特征不可靠，必须加时序约束。我的实现如下：
class FallDetector: def __init__(self, need_frames=3): self.need_frames = need_frames # 连续满足几帧才算摔倒 self.fall_frames = 0 self.last_cy_h = None def check(self, box): x1, y1, x2, y2 = box w = x2 - x1 h = y2 - y1 # 宽高比：正常站立通常>1.5，倒地后变扁，<0.8 ratio = h / (w + 1e-6) cy = (y1 + y2) / 2 speed = 0 if self.last_cy_h is None else abs(cy - self.last_cy_h) self.last_cy_h = cy # 双条件：目标变矮且重心快速下移 if ratio < 0.8 and speed > 20: self.fall_frames += 1 else: self.fall_frames = 0 return self.fall_frames >= self.need_frames fall = FallDetector() # 在推理循环里对每个person检测框调用 fall.check(box)解释下两个关键阈值。ratio阈值0.8：正常站立的人框高大约是宽的1.5到2倍，倒地后人体的外接矩形会变成扁的，宽高比往往小于0.8，这是第一个条件。speed阈值20是第二个条件，匹配的是人体倒地时的重心下坠速度，在25FPS的帧率下大约是每秒0.5到1米的像素位移，具体要按摄像头安装高度现场调。两条件必须同时成立，才能过滤掉蹲下捡东西（重心位移小）和坐下来（宽高比变化但速度不够）这类干扰。need_frames=3是时序消抖，连续3帧触发再告警，单帧抖动不会造成误报。
这里有一个容易被忽略的问题：同一个摔倒的人在画面里停留时，如果不做目标跟踪，每一帧都会调用独立检测，告警会重复触发。最简单的对策是加一个冷却时间：同一目标的框与上一帧匹配上（IoU大于0.3就算同一个），触发告警后10秒内不再重复告警。进阶一点就是接入ByteTrack这类轻量跟踪器，给每个目标分配ID，但这会增加代码复杂度，第一版用冷却时间就够了。
4.3 禁区闯入：OpenCV多边形ROI与底边中心点判定
校园场景里的禁入区通常是多边形，比如配电房门口、楼顶边缘、施工围挡。OpenCV的pointPolygonTest可以直接判断点是否在多边形内，用它来做人框的位置过滤，比训练一个分类器快得多也准得多。
import cv2 import numpy as np # 在画面里划定禁区顶点，按顺序闭合 roi = np.array([[100, 200], [300, 150], [420, 350], [150, 400]], dtype=np.int32) def is_in_roi(box): # 取检测框底边中心作为落脚点 foot_x = (box[0] + box[2]) / 2 foot_y = box[3] # 底边的y坐标 # measureDist=False表示只判断内外，返回正值在内部，负值在外部 return cv2.pointPolygonTest(roi, (float(foot_x), float(foot_y)), False) >= 0用底边中心点而不是框中心，是有实际经验的：人站在禁区围挡外面时，框中心可能还在围挡上方，底边已经踩进线内，用中心点判定会漏报。pointPolygonTest的第三个参数False表示不计算点到多边形的精确距离，只返回正负号，速度极快。这个函数还能顺手解决一个问题：检测框边缘略微越过红线但实际人没进入时，可以通过在ROI基础上缩小一圈（把多边形向内收缩几个像素）来消除抖动。
4.4 聚集检测与预警推送：不要阻塞推理主循环
聚集检测最朴素也最实用的指标，是某个区域内的person框数量在连续若干帧内超过阈值。比如在食堂门口划一个区域，区域内person类检测框超过5个且持续10秒，就触发聚集预警。实际实现时不需要重新画区域，直接统计全画面检测框数量或者按ROI过滤后计数即可。注意OpenCV里坐标原点是左上角，x向右、y向下，ROI多边形的顶点顺序也必须按这个坐标系来画，否则多边形会变形。
预警推送是另一个易翻车点。如果告警处理（写数据库、发HTTP回调、推企业微信）直接写在YOLOv5的推理循环里，帧率会瞬间掉到底，因为网络请求是阻塞式的。常规做法是用生产者和消费者模型：
import queue import threading def alert_worker(alert_queue): # 后台消费告警消息 while True: msg = alert_queue.get() try: # 在这里实现推送：WebHook回调/微信机器人/写日志 print(f"[ALERT] {msg}") finally: alert_queue.task_done() alert_queue = queue.Queue(maxsize=10) threading.Thread(target=alert_worker, args=(alert_queue,), daemon=True).start() # 推理循环里检测到异常时，只做一件事： alert_queue.put("14:23:05 东操场护栏有人闯入")queue的maxsize=10是给告警通道上了个保险：后台推送万一卡住几秒，队列满了之后新的告警会被丢弃而不是让内存无限增长，这在无人值守的监控场景下很重要。daemon=True保证主程序退出时后台线程自动结束，不会留下僵尸线程。OpenCV的imshow窗口也可以在这个模式下继续用，画面显示和告警推送互不干扰，整个预警察链路的瓶颈只剩下模型推理本身。
5. 避坑：YOLOv5+OpenCV校园监控的5条踩坑记录，从环境报错到夜晚失灵
模型训练能跑通只是开始，这套系统真正的考验在真实校园环境里。我见过太多次训练mAP很高、一接到现场摄像头就各种翻车的案例。这一章按“现象 → 原因 → 解决”的格式，整理5条最有代表性的踩坑记录，每一条都对应一个真实常见的后果。
5.1 conda环境里报No module named 'cv2'：装错了环境
现象：代码第一行import cv2就报ModuleNotFoundError: No module named 'cv2'，但明明刚才pip install opencv-python成功过。
原因：pip默认装到了系统Python里，而你现在激活的conda环境是campus_safe，两个环境的site-packages互不相认。YOLOv5的requirements.txt装依赖时如果没激活环境，或者中途退出了conda，也会出现这种错位。
解决：先conda activate campus_safe，再在环境内执行pip install opencv-python。验证是否装对位置，看import cv2后cv2.__file__的路径是否在campus_safe的site-packages下。这里的通用规则是：环境要用哪个Python，就在哪个环境里装包，不要图省事直接sudo pip install，那是把系统环境弄乱的经典路径。
5.2 训练loss一直不降：超参数没适配自己的数据
现象：训练跑了几十个epoch，val_loss在0.7附近横向抖动，mAP只有0.3左右，比不训练还差。
原因：两个最常见原因。一是lr0太大导致loss在极小值附近震荡不收敛；二是数据不平衡，比如fallen_person只有100张，person有2000张，模型直接把所有目标都预测成person，精确率看着高但异常类别全部漏检。
解决：先把lr0从0.01降到0.005重跑一轮；再检查数据集里每个类别的样本数，最少的类别也要补到500张以上，否则就合并类别做二分类（正常、异常）而不是硬撑四个类。补数据不方便时，可以用数据增强凑数，但别只做水平翻转，摔倒和奔跑这种方向性行为，翻转后语义可能错乱。
5.3 把教室吊扇当人反复触发预警：置信度阈值和类别混淆的锅
现象：白天在普通教室测试，摄像头把天花板上的吊扇识别成person，频繁触发闯入告警，防不胜防。
原因：吊扇旋转的叶片在画面上形成了类人的运动模糊纹理，深夜静态画面里排风扇的圆形轮廓也容易被误判。YOLOv5的conf-thres默认0.25，监控场景下这个值太低，风扇叶片有大量帧能达到0.3左右的置信度。
解决：把model.conf从0.25拉到0.4到0.5，误报会显著下降，同时观察有没有把远处小目标漏掉；如果还是有风扇误报，收集一批风扇叶片画面的负样本，标成空背景（图片不放任何类别标签）加入训练集。负样本是压误报最有效的手段，比反复调阈值更治本。这个案例也说明，异常行为检测的最终标准不是mAP，而是误报率，降低误报要靠在真实场景里调阈值、补负样本，而不是继续卷模型结构。
5.4 晚上关灯后一个目标都检测不到：图像预处理失位
现象：白天检测一切正常，晚上走廊只剩暗淡的灯光时，系统几乎不产生任何检测框，偶发跳出一个置信度0.1的框。
原因：YOLOv5训练时用的是正常亮度数据，夜间低照度画面进入网络后，特征分布和训练分布差距太大。OpenCV直接拿原始帧做letterbox缩放，没有做任何亮度补偿。这是“场景泛化”问题，不是模型坏了。
解决：在进模型之前插入图像增强预处理。常见做法是转灰度后做CLAHE自适应直方图均衡化，再转回BGR送进网络；或者简单地用gamma校正把暗部提亮。更稳妥的方案是给夜间数据单独建一个类别叫night_person，采集几百张夜间画面加进训练集。CLAHE会牺牲一点帧率，但换来的是夜间可用性，值。
# 夜间帧增强：CLAHE自适应直方图均衡化 lab = cv2.cvtColor(frame, cv2.COLOR_BGR2LAB) l, a, b = cv2.split(lab) clahe = cv2.createCLAHE(clipLimit=2.0, tileGridSize=(8, 8)) l = clahe.apply(l) frame = cv2.cvtColor(cv2.merge((l, a, b)), cv2.COLOR_LAB2BGR)参数上，clipLimit=2.0控制对比度增强强度，数值越大增强越猛但噪声也越明显；tileGridSize=(8,8)是局部区域划分，画面分辨率不高时用默认值就好。如果用了红外摄像头，还要注意红外画面是灰度图，直接做BGR通道复制后再增强，效果比在单通道上做要好。
5.5 推理只要20ms画面却只有8FPS：OpenCV显示与预处理抢资源
现象：单独测模型推理，一帧只要20ms，换成完整摄像头循环后，画面只有8FPS，卡得没法看。
原因：瓶颈不在推理，而在显示和预处理。cv2.imshow的窗口刷新在高DPI屏幕上很费CPU；转灰度、做letterbox、复制数组这些Python操作都在拿CPU忙，和模型抢同一个GIL。还有个隐藏坑是VideoCapture的缓存队列：摄像头的帧率是25FPS，但推理只有20ms，队列里积压了旧帧，你处理的永远是几秒前的画面。
解决：把VideoCapture的缓存读空，每循环先抓帧直到读到最新帧；显示时把图像缩小到640宽再imshow；或者干脆去掉imshow，只把检测结果写入MJPEG流，由浏览器端显示。实时性优先的话，用“跳帧”策略：检测每2帧做一次，中间帧直接透传，画面流畅度和检测覆盖率都能兼顾。
这几条坑的共同点，是都能靠监控日志快速定位。我习惯了在预警触发时把当时的原图、检测框、置信度和触发条件一起落盘，这样翻车时不用瞎猜，翻日志就能还原现场。尤其是学生团队做项目答辩时，这份误报复原记录比mAP曲线更能说明工程能力。
6. 进阶优化：用帧差法+ROI预筛选把在线推理量砍下一半
6.1 帧差法预筛选的代码与参数
监控场景有个天然规律：校园走廊、操场、楼梯在大部分时间里是空荡荡的。如果每一帧都送进YOLOv5，GPU在空场景上白耗电，CPU服务器更是直接撑不住。这里有一个立竿见影的优化：先用OpenCV的帧差法判断画面有没有运动，没运动就不做推理。
帧差法的原理很简单：前后帧对应像素灰度值相减，差值超过阈值的像素就是运动区域。配合膨胀操作把零散的运动点连成块，再用面积占比决定是否跳过当前帧。
gray = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY) if prev_gray is not None: diff = cv2.absdiff(prev_gray, gray) # 前后帧灰度差 _, motion = cv2.threshold(diff, 25, 255, cv2.THRESH_BINARY) motion = cv2.dilate(motion, np.ones((5, 5), np.uint8), iterations=2) motion_ratio = cv2.countNonZero(motion) / (frame.shape[0] * frame.shape[1]) if motion_ratio < 0.05: # 运动面积太小，跳过本帧推理 prev_gray = gray continue prev_gray = gray # 正常执行YOLOv5推理参数上，阈值25是灰度差，太低会把摄像头噪点当成运动，太高会漏掉慢速行走的人；膨胀核5x5、迭代2次，是为了把行人的手臂和腿部运动噪点连成片；motion_ratio小于0.05表示运动区域占整幅画面不到5%，这种帧通常没有人或只有极小的目标，跳过是安全的。这套预筛可以放在YOLOv5和OpenCV的取流循环之间，成本几乎为零。
6.2 验证这个方法是否适合你的场景
验证方法不是看FPS，而是统计两件事：跳帧率和告警漏报数。在正常监控画面下跑一小时，跳帧率达到50%以上，说明优化有效；同时人工回放这一小时录像，确认没有任何一次真实的摔倒或闯入被跳过帧漏掉。如果场景里一直有人走动，运动面积一直超过5%，预筛的作用会变弱，这种情况就不用强行加。另一个更重的方案是TensorRT或者ONNX导出，但对大创项目来说，帧差法预筛投入产出比最高，因为它还顺手降低了摄像头缓存积压，让画面延迟也变小了。
这个优化给我最大的教训是：实时监控系统的性能优化，先砍掉无意义计算，再去谈引擎加速。我最早也是迷信模型推理速度，把YOLOv5s换成TensorRT，折腾一周只快了一倍；后来发现把空帧跳过之后，系统整体负载直接降了60%，而精度几乎没损失。先看数据，再看玄学。希望帮到你。
本文还有配套的精品资源，点击获取
：构建高效复盘流程的实践指南)
