基于深度学习YOLOv10的石头剪刀布检测系统（YOLOv10+YOLO数据集+UI界面+Python项目源码+模型）

一、项目介绍

摘要

本项目基于YOLOv10目标检测算法开发了一个石头剪刀布手势识别系统，能够实时检测并分类用户展示的"石头"、"剪刀"、"布"三种手势。系统使用自定义数据集进行训练，包含训练集6455张图像、验证集576张图像和测试集304张图像，共计7335张标注图像。实验表明，YOLOv10在该手势识别任务上表现出色，实现了高精度和实时性的平衡。该系统可广泛应用于人机交互游戏、智能教学辅助、无障碍交互设备等多种场景，为人机自然交互提供了新的技术解决方案。

项目意义

石头剪刀布检测系统具有重要的理论价值和实际应用意义：

1. 人机交互创新：该系统为人机自然交互提供了新的技术路径，使计算机能够理解人类最基本的游戏手势，为更复杂的交互奠定了基础。

2. 教育应用价值：可作为智能教学工具，帮助儿童学习游戏规则，或用于人工智能教育中的典型案例演示。

3. 无障碍技术发展：为听障人士或语言障碍者提供了一种非语言的交流方式，扩展了无障碍交互的可能性。

4. 算法验证平台：作为计算机视觉领域的一个典型小规模分类问题，为验证新型目标检测算法提供了标准化测试环境。

5. 边缘计算应用：该系统对计算资源要求适中，适合部署在边缘设备上，为嵌入式视觉应用开发提供了参考。

6. 数据采集方法论：项目中建立的数据集构建流程和方法，可为其他类似的小规模特定目标检测任务提供借鉴。

目录

一、项目介绍

摘要

项目意义

二、项目功能展示

系统功能

图片检测

视频检测

摄像头实时检测

三、数据集介绍

数据集概述

数据集特点

数据集配置文件

数据集制作流程

四、项目环境配置

创建虚拟环境

pycharm中配置anaconda

安装所需要库

五、模型训练

训练代码

训练结果

六、核心代码

七、项目源码（视频下方简介内）

基于深度学习YOLOv10的石头剪刀布检测系统（YOLOv10+YOLO数据集+UI界面+Python项目源码+模型）_哔哩哔哩_bilibili

二、项目功能展示

系统功能

✅图片检测：可对图片进行检测，返回检测框及类别信息。

✅视频检测：支持视频文件输入，检测视频中每一帧的情况。

✅摄像头实时检测：连接USB 摄像头，实现实时监测。

✅参数实时调节（置信度和IoU阈值）

• 图片检测

该功能允许用户通过单张图片进行目标检测。输入一张图片后，YOLO模型会实时分析图像，识别出其中的目标，并在图像中框出检测到的目标，输出带有目标框的图像。

• 视频检测

视频检测功能允许用户将视频文件作为输入。YOLO模型将逐帧分析视频，并在每一帧中标记出检测到的目标。最终结果可以是带有目标框的视频文件或实时展示，适用于视频监控和分析等场景。

• 摄像头实时检测

该功能支持通过连接摄像头进行实时目标检测。YOLO模型能够在摄像头拍摄的实时视频流中进行目标检测，实时识别并显示检测结果。此功能非常适用于安防监控、无人驾驶、智能交通等应用，提供即时反馈。

核心特点：

• 高精度：基于YOLO模型，提供精确的目标检测能力，适用于不同类型的图像和视频。
• 实时性：特别优化的算法使得实时目标检测成为可能，无论是在视频还是摄像头实时检测中，响应速度都非常快。
• 批量处理：支持高效的批量图像和视频处理，适合大规模数据分析。

三、数据集介绍

数据集概述

本项目构建了一个专门用于石头剪刀布手势识别的定制化数据集，共包含7335张高质量标注图像，分为三个类别：Paper(布)、Rock(石头)和Scissors(剪刀)。数据集按照机器学习标准划分为：

• 训练集：6455张图像

• 验证集：576张图像

• 测试集：304张图像

数据集涵盖了多种光照条件、手势角度、肤色和背景环境，确保了模型的泛化能力。所有图像均经过专业标注，并转换为YOLO格式的标注文件。

数据集特点

1. 多样性：

   • 手势展示者涵盖不同年龄、性别和肤色

   • 包含多种光照条件(自然光、室内灯光、强光、弱光等)

   • 背景环境多样(纯色背景、办公室、家庭、户外等)

   • 手势角度多变(正对摄像头、侧面、俯视、仰视等)

2. 质量保证：

   • 所有图像分辨率均较高

   • 标注经过双重校验，确保准确性

   • 排除了模糊、过度遮挡等低质量样本

3. 平衡性：

   • 三类手势样本数量基本均衡

   • 训练集、验证集、测试集分布合理

   • 确保不同子集之间的数据分布一致性

4. 实用性：

   • 图像采集考虑实际应用场景

   • 包含单手势和多人手势场景

   • 部分样本模拟了实时检测中的运动模糊情况

数据集配置文件

数据集采用YOLO格式的配置文件，主要包含以下内容：

train: F:\石头剪刀布检测数据集\train\images val: F:\石头剪刀布检测数据集\valid\images test: F:\石头剪刀布检测数据集\test\images nc: 3 names: ['Paper', 'Rock', 'Scissors']

数据集制作流程

1. 需求分析阶段：

   • 明确检测目标和应用场景

   • 确定所需手势类别和变体

   • 制定数据多样性要求

2. 数据采集阶段：

   • 使用多种设备采集(智能手机、网络摄像头、专业相机)

   • 设置不同的采集环境和光照条件

   • 邀请不同特征的参与者展示手势

   • 录制视频后抽取关键帧或直接拍摄静态图像

3. 数据标注阶段：

   • 使用LabelImg或CVAT等标注工具进行标注

   • 制定统一的标注规范(如手势区域界定标准)

   • 进行标注质量检查和修正

4. 数据预处理阶段：

   • 图像尺寸标准化

   • 数据增强(旋转、翻转、亮度调整等)

   • 剔除低质量样本

   • 检查标注一致性

5. 数据集划分阶段：

   • 按比例随机划分训练集、验证集和测试集

   • 确保各类别在各子集中分布均衡

   • 检查数据泄漏问题

6. 格式转换阶段：

   • 将标注转换为YOLO格式

   • 生成数据集配置文件

   • 创建数据加载脚本

7. 质量验证阶段：

   • 可视化检查样本和标注

   • 训练小型模型进行初步验证

   • 修正发现的问题

四、项目环境配置

创建虚拟环境

首先新建一个Anaconda环境，每个项目用不同的环境，这样项目中所用的依赖包互不干扰。

终端输入

conda create -n yolov10 python==3.9

激活虚拟环境

conda activate yolov10

安装cpu版本pytorch

pip install torch torchvision torchaudio

pycharm中配置anaconda

安装所需要库

pip install -r requirements.txt

五、模型训练

训练代码

from ultralytics import YOLOv10 model_path = 'yolov10s.pt' data_path = 'datasets/data.yaml' if __name__ == '__main__': model = YOLOv10(model_path) results = model.train(data=data_path, epochs=500, batch=64, device='0', workers=0, project='runs/detect', name='exp', )

根据实际情况更换模型 yolov10n.yaml (nano)：轻量化模型，适合嵌入式设备，速度快但精度略低。 yolov10s.yaml (small)：小模型，适合实时任务。 yolov10m.yaml (medium)：中等大小模型，兼顾速度和精度。 yolov10b.yaml (base)：基本版模型，适合大部分应用场景。 yolov10l.yaml (large)：大型模型，适合对精度要求高的任务。

• --batch 64：每批次64张图像。
• --epochs 500：训练500轮。
• --datasets/data.yaml：数据集配置文件。
• --weights yolov10s.pt：初始化模型权重，yolov10s.pt是预训练的轻量级YOLO模型。

训练结果

六、核心代码

import sys import cv2 import numpy as np from PyQt5.QtWidgets import QApplication, QMessageBox, QFileDialog from PyQt5.QtCore import QThread, pyqtSignal from ultralytics import YOLOv10 from UiMain import UiMainWindow import time import os class DetectionThread(QThread): frame_received = pyqtSignal(np.ndarray, np.ndarray, list) # 原始帧, 检测帧, 检测结果 finished_signal = pyqtSignal() # 线程完成信号 def __init__(self, model, source, conf, iou, parent=None): super().__init__(parent) self.model = model self.source = source self.conf = conf self.iou = iou self.running = True def run(self): try: if isinstance(self.source, int) or self.source.endswith(('.mp4', '.avi', '.mov')): # 视频或摄像头 cap = cv2.VideoCapture(self.source) while self.running and cap.isOpened(): ret, frame = cap.read() if not ret: break # 保存原始帧 original_frame = frame.copy() # 检测 results = self.model(frame, conf=self.conf, iou=self.iou) annotated_frame = results[0].plot() # 提取检测结果 detections = [] for result in results: for box in result.boxes: class_id = int(box.cls) class_name = self.model.names[class_id] confidence = float(box.conf) x, y, w, h = box.xywh[0].tolist() detections.append((class_name, confidence, x, y)) # 发送信号 self.frame_received.emit( cv2.cvtColor(original_frame, cv2.COLOR_BGR2RGB), cv2.cvtColor(annotated_frame, cv2.COLOR_BGR2RGB), detections ) # 控制帧率 time.sleep(0.03) # 约30fps cap.release() else: # 图片 frame = cv2.imread(self.source) if frame is not None: original_frame = frame.copy() results = self.model(frame, conf=self.conf, iou=self.iou) annotated_frame = results[0].plot() # 提取检测结果 detections = [] for result in results: for box in result.boxes: class_id = int(box.cls) class_name = self.model.names[class_id] confidence = float(box.conf) x, y, w, h = box.xywh[0].tolist() detections.append((class_name, confidence, x, y)) self.frame_received.emit( cv2.cvtColor(original_frame, cv2.COLOR_BGR2RGB), cv2.cvtColor(annotated_frame, cv2.COLOR_BGR2RGB), detections ) except Exception as e: print(f"Detection error: {e}") finally: self.finished_signal.emit() def stop(self): self.running = False class MainWindow(UiMainWindow): def __init__(self): super().__init__() # 初始化模型 self.model = None self.detection_thread = None self.current_image = None self.current_result = None self.video_writer = None self.is_camera_running = False self.is_video_running = False self.last_detection_result = None # 新增：保存最后一次检测结果 # 连接按钮信号 self.image_btn.clicked.connect(self.detect_image) self.video_btn.clicked.connect(self.detect_video) self.camera_btn.clicked.connect(self.detect_camera) self.stop_btn.clicked.connect(self.stop_detection) self.save_btn.clicked.connect(self.save_result) # 初始化模型 self.load_model() def load_model(self): try: model_name = self.model_combo.currentText() self.model = YOLOv10(f"{model_name}.pt") # 自动下载或加载本地模型 self.update_status(f"模型 {model_name} 加载成功") except Exception as e: QMessageBox.critical(self, "错误", f"模型加载失败: {str(e)}") self.update_status("模型加载失败") def detect_image(self): if self.detection_thread and self.detection_thread.isRunning(): QMessageBox.warning(self, "警告", "请先停止当前检测任务") return file_path, _ = QFileDialog.getOpenFileName( self, "选择图片", "", "图片文件 (*.jpg *.jpeg *.png *.bmp)") if file_path: self.clear_results() self.current_image = cv2.imread(file_path) self.current_image = cv2.cvtColor(self.current_image, cv2.COLOR_BGR2RGB) self.display_image(self.original_image_label, self.current_image) # 创建检测线程 conf = self.confidence_spinbox.value() iou = self.iou_spinbox.value() self.detection_thread = DetectionThread(self.model, file_path, conf, iou) self.detection_thread.frame_received.connect(self.on_frame_received) self.detection_thread.finished_signal.connect(self.on_detection_finished) self.detection_thread.start() self.update_status(f"正在检测图片: {os.path.basename(file_path)}") def detect_video(self): if self.detection_thread and self.detection_thread.isRunning(): QMessageBox.warning(self, "警告", "请先停止当前检测任务") return file_path, _ = QFileDialog.getOpenFileName( self, "选择视频", "", "视频文件 (*.mp4 *.avi *.mov)") if file_path: self.clear_results() self.is_video_running = True # 初始化视频写入器 cap = cv2.VideoCapture(file_path) frame_width = int(cap.get(cv2.CAP_PROP_FRAME_WIDTH)) frame_height = int(cap.get(cv2.CAP_PROP_FRAME_HEIGHT)) fps = cap.get(cv2.CAP_PROP_FPS) cap.release() # 创建保存路径 save_dir = "results" os.makedirs(save_dir, exist_ok=True) timestamp = time.strftime("%Y%m%d_%H%M%S") save_path = os.path.join(save_dir, f"result_{timestamp}.mp4") fourcc = cv2.VideoWriter_fourcc(*'mp4v') self.video_writer = cv2.VideoWriter(save_path, fourcc, fps, (frame_width, frame_height)) # 创建检测线程 conf = self.confidence_spinbox.value() iou = self.iou_spinbox.value() self.detection_thread = DetectionThread(self.model, file_path, conf, iou) self.detection_thread.frame_received.connect(self.on_frame_received) self.detection_thread.finished_signal.connect(self.on_detection_finished) self.detection_thread.start() self.update_status(f"正在检测视频: {os.path.basename(file_path)}") def detect_camera(self): if self.detection_thread and self.detection_thread.isRunning(): QMessageBox.warning(self, "警告", "请先停止当前检测任务") return self.clear_results() self.is_camera_running = True # 创建检测线程 (默认使用摄像头0) conf = self.confidence_spinbox.value() iou = self.iou_spinbox.value() self.detection_thread = DetectionThread(self.model, 0, conf, iou) self.detection_thread.frame_received.connect(self.on_frame_received) self.detection_thread.finished_signal.connect(self.on_detection_finished) self.detection_thread.start() self.update_status("正在从摄像头检测...") def stop_detection(self): if self.detection_thread and self.detection_thread.isRunning(): self.detection_thread.stop() self.detection_thread.quit() self.detection_thread.wait() if self.video_writer: self.video_writer.release() self.video_writer = None self.is_camera_running = False self.is_video_running = False self.update_status("检测已停止") def on_frame_received(self, original_frame, result_frame, detections): # 更新原始图像和结果图像 self.display_image(self.original_image_label, original_frame) self.display_image(self.result_image_label, result_frame) # 保存当前结果帧用于后续保存 self.last_detection_result = result_frame # 新增：保存检测结果 # 更新表格 self.clear_results() for class_name, confidence, x, y in detections: self.add_detection_result(class_name, confidence, x, y) # 保存视频帧 if self.video_writer: self.video_writer.write(cv2.cvtColor(result_frame, cv2.COLOR_RGB2BGR)) def on_detection_finished(self): if self.video_writer: self.video_writer.release() self.video_writer = None self.update_status("视频检测完成，结果已保存") elif self.is_camera_running: self.update_status("摄像头检测已停止") else: self.update_status("图片检测完成") def save_result(self): if not hasattr(self, 'last_detection_result') or self.last_detection_result is None: QMessageBox.warning(self, "警告", "没有可保存的检测结果") return save_dir = "results" os.makedirs(save_dir, exist_ok=True) timestamp = time.strftime("%Y%m%d_%H%M%S") if self.is_camera_running or self.is_video_running: # 保存当前帧为图片 save_path = os.path.join(save_dir, f"snapshot_{timestamp}.jpg") cv2.imwrite(save_path, cv2.cvtColor(self.last_detection_result, cv2.COLOR_RGB2BGR)) self.update_status(f"截图已保存: {save_path}") else: # 保存图片检测结果 save_path = os.path.join(save_dir, f"result_{timestamp}.jpg") cv2.imwrite(save_path, cv2.cvtColor(self.last_detection_result, cv2.COLOR_RGB2BGR)) self.update_status(f"检测结果已保存: {save_path}") def closeEvent(self, event): self.stop_detection() event.accept() if __name__ == "__main__": app = QApplication(sys.argv) # 设置应用程序样式 app.setStyle("Fusion") # 创建并显示主窗口 window = MainWindow() window.show() sys.exit(app.exec_())

七、项目源码（视频下方简介内）

完整全部资源文件（包括测试图片、视频，py文件，训练数据集、训练代码、界面代码等），这里已打包上传至博主的面包多平台，见可参考博客与视频，已将所有涉及的文件同时打包到里面，点击即可运行，完整文件截图如下：

基于深度学习YOLOv10的石头剪刀布检测系统（YOLOv10+YOLO数据集+UI界面+Python项目源码+模型）_哔哩哔哩_bilibili