摘要
面向多类别水果检测任务,本文构建并训练了一个基于YOLOv8的检测系统,涵盖Apple、Banana、Grape、Orange、Pineapple、Watermelon共6个类别。数据集共包含训练集7108张、验证集914张、测试集457张。实验结果显示,模型在所有类别上的平均精确率(mAP@0.5)为0.50,最佳F1值为0.53(置信度阈值0.222)。
引言
水果检测是智慧农业与自动化分拣系统中的关键技术环节,具有广泛的实际应用价值。然而,水果种类多、形态相似、光照变化大等挑战使得通用目标检测模型在实际场景中表现受限。YOLOv8作为当前领先的单阶段目标检测算法,具备高效、精度高、易于部署等优势,适合用于资源受限且实时性要求较高的农业视觉任务。
本文旨在构建一个面向6类常见水果的YOLOv8检测系统,并通过标准的训练-验证-测试流程评估其真实检测能力。不同于仅报告高精度指标的研究,本文基于混淆矩阵、精确率-召回率曲线、损失曲线等多维评价指标,对模型的实际鲁棒性与失败模式进行了系统分析,为后续模型优化与数据增强策略提供定量依据。
目录
摘要
引言
功能模块
1、用户管理模块
2、界面与交互模块
3、检测源管理模块
4、检测参数配置模块
5、YOLO检测核心模块
6、结果显示模块
7、结果保存模块
8、工具栏功能
9、辅助功能
10、数据校验模块
背景
目标检测与YOLOv8
水果检测的难点
数据集介绍
类别与规模
训练过程
训练结果
常用标注工具
功能模块
✅用户登录注册:支持密码检测,密码加密。
注册
登录
✅图片检测:可对图片进行检测,返回检测框及类别信息。
✅参数实时调节(置信度和IoU阈值)
✅支持选择检测目标:可以选择一个或者多个类目的目标进行检测
✅视频检测:支持视频文件输入,检测视频中每一帧的情况。
✅摄像头实时检测:连接USB 摄像头,实现实时监测。
✅日志记录:日志标签页记录操作和错误信息,带时间戳
✅结果保存模块:支持图片/视频/摄像头检测结果保存
1、用户管理模块
| 功能 | 描述 |
|---|---|
| 用户注册 | 用户名、密码、确认密码、邮箱(选填)注册,密码SHA256加密存储 |
| 用户登录 | 用户名密码验证,自动跳转主界面 |
| 用户数据存储 | JSON文件存储用户信息(密码加密、注册时间、邮箱) |
| 登录状态 | 主界面显示当前登录用户名 |
2、界面与交互模块
| 功能 | 描述 |
|---|---|
| 玻璃效果界面 | 半透明毛玻璃背景,圆角边框,现代化视觉风格 |
| 无边框窗口 | 自定义标题栏,支持窗口拖动、最小化、最大化、关闭 |
| 响应式布局 | 主窗口三栏布局(左侧控制区、中央显示区、右侧信息区) |
| 状态栏 | 显示设备信息、模型状态、当前用户、实时时间 |
3、检测源管理模块
| 功能 | 描述 |
|---|---|
| 图片检测 | 支持JPG/JPEG/PNG/BMP格式图片载入 |
| 视频检测 | 支持MP4/AVI/MOV/MKV格式视频载入 |
| 摄像头检测 | 实时调用摄像头(默认ID 0)进行检测 |
| 检测源切换 | 下拉菜单切换三种检测模式,自动更新界面状态 |
4、检测参数配置模块
| 功能 | 描述 |
|---|---|
| 置信度阈值 | 滑动条调节(0-100%,步长1%),实时显示当前值 |
| IoU阈值 | 滑动条调节(0-100%,步长1%),实时显示当前值 |
| 类别选择 | 动态生成检测类别复选框,支持全选/取消全选 |
| 参数同步 | 参数实时同步到检测器核心 |
5、YOLO检测核心模块
| 功能 | 描述 |
|---|---|
| 模型加载 | 加载best.pt模型文件,自动检测GPU可用性,支持CPU/GPU切换 |
| 多模式检测 | 图片检测、视频检测、摄像头实时检测 |
| 检测线程 | 基于QThread的多线程处理,避免界面卡顿 |
| 检测结果 | 返回目标类别、置信度、边界框坐标 |
| FPS计算 | 实时计算处理帧率 |
| 进度反馈 | 视频处理进度条实时更新 |
6、结果显示模块
| 功能 | 描述 |
|---|---|
| 实时画面 | 中央区域显示检测结果图像(带标注框) |
| 统计信息 | 检测状态、目标数量、FPS、处理帧数实时更新 |
| 检测列表 | 右侧列表显示当前帧所有检测到的目标(类别+置信度) |
| 日志记录 | 日志标签页记录操作和错误信息,带时间戳 |
| 占位显示 | 未选择检测源时显示系统LOGO和提示文字 |
7、结果保存模块
| 功能 | 描述 |
|---|---|
| 保存开关 | 复选框控制是否保存检测结果 |
| 路径选择 | 自定义保存路径,支持图片/视频格式自动识别 |
| 自动命名 | 保存文件自动添加时间戳(detection_result_20240101_120000.jpg) |
| 视频保存 | 支持检测结果视频录制(MP4格式) |
| 手动保存 | 工具栏保存按钮可随时保存当前画面 |
| 保存反馈 | 保存成功弹窗提示,日志记录保存路径 |
8、工具栏功能
| 功能 | 描述 |
|---|---|
| 图片按钮 | 快速切换到图片检测模式并打开文件选择器 |
| 视频按钮 | 快速切换到视频检测模式并打开文件选择器 |
| 摄像头按钮 | 快速切换到摄像头检测模式 |
| 保存按钮 | 手动保存当前显示画面 |
9、辅助功能
| 功能 | 描述 |
|---|---|
| 错误处理 | 统一错误弹窗提示,日志记录错误详情 |
| 资源清理 | 检测停止时自动释放摄像头、视频文件、视频写入器资源 |
| 时间显示 | 状态栏实时显示系统时间 |
| 模型状态 | 状态栏显示模型加载状态和当前设备(CPU/GPU) |
10、数据校验模块
| 功能 | 描述 |
|---|---|
| 注册验证 | 用户名长度≥3,密码长度≥6,密码一致性检查,邮箱格式验证 |
| 协议确认 | 注册前需勾选同意用户协议 |
| 文件校验 | 模型文件存在性检查,文件大小验证(≥6MB) |
| 输入非空 | 登录/注册时必填项非空检查 |
背景
目标检测与YOLOv8
目标检测任务要求同时识别图像中目标的类别及其位置。YOLO系列采用统一的回归方式,将检测建模为边界框与类别概率的联合预测。YOLOv8在其前身基础上引入了更高效的CSP结构、解耦头(decoupled head)、自由锚框(anchor-free)及更优的损失函数(DFL + CIOU),在COCO等通用数据集上实现了精度与速度的较好平衡。然而,其在类别不均衡、小目标或相似类别场景下仍面临挑战。
水果检测的难点
类内差异大:同一水果存在不同成熟度、光照、遮挡情况。
类别分布不均衡:常见数据集中Grape数量远多于Watermelon,导致模型偏向优势类别。
背景干扰:复杂农田或超市货架环境下,水果与背景的区分难度高。
上述背景决定了本任务不仅是一个目标检测问题,更是一个典型的不均衡细粒度检测问题。
数据集介绍
类别与规模
本系统使用的数据集共包含6类水果:
| 类别 | 名称 |
|---|---|
| 0 | Apple |
| 1 | Banana |
| 2 | Grape |
| 3 | Orange |
| 4 | Pineapple |
| 5 | Watermelon |
数据集总量:
训练集:7108张
验证集:914张
测试集:457张
训练过程
训练结果
常用标注工具
假设您现在准备好进行标注。有几种开源工具可以帮助简化数据标注流程。以下是一些有用的开放标注工具:
Label Studio:一个灵活的工具,支持各种标注任务,并包含用于管理项目和质量控制的功能。 CVAT:一个强大的工具,支持各种标注格式和可定制的工作流程,使其适用于复杂的项目。 Labelme:一个简单易用的工具,可以快速标注带有多边形的图像,非常适合简单的任务。 LabelImg: 一款易于使用的图形图像标注工具,特别适合以 YOLO 格式创建边界框标注。
这些开源工具经济实惠,并提供一系列功能来满足不同的标注需求。
界面核心代码: