简介：这是一套用Python实现的手势识别人机交互系统源码，面向计算机相关专业正在做课程设计、期末大作业或需要项目实战练习的学习者，可作为完整参考方案直接研读与二次开发。压缩包共50个文件，约433KB，以39个py源码文件为核心，辅以4个md说明文档、2张jpg架构与效果图，以及txt、license、dll等配置依赖文件，目录划分清晰，涵盖手势识别、数据集处理、通信传输与界面控制等模块。已有243人学习下载，说明其作为课程设计范例具备一定参考价值。读者可从中获取手势识别模型训练与推理的完整代码链路、视频与数据集预处理脚本、界面交互与状态展示逻辑，以及项目依赖与运行说明，便于快速理解系统结构、复现实验流程并在此基础上完成自己的课程设计或实战练习。
1. 手势识别做课程设计，这套 Python 源码到底能跑出什么
很多同学做课程设计时，选题一写“基于手势识别的人机交互系统”，脑子里想的是摄像头一开、手一比划、PPT 自动翻页，实际动手才发现：数据集怎么切、标签怎么对、模型输出怎么映射成键鼠事件，每一步都能卡三天。这套 Python 源码就是冲着这个场景来的——它把手势识别从视频抽帧、数据集划分、模型训练到 UI 控制整条链路都串好了，目录里能看到dataset_process、gesture_recognition、gesture_location_system、show_UI四个主模块，外加communication做进程间通信。适合正在做课程设计、期末大作业的计算机相关专业学生，也适合想拿一个完整视觉项目练手的人。它不是调个库就完事的 demo，而是有训练脚本、有推理入口、有界面控制的完整工程，98 分课程设计这个背景说明它的完成度经得起答辩追问。
2. 拆开目录看架构：四个模块怎么串成一条链路
2.1 从视频到数据集：dataset_process 干了什么
手势识别项目最容易翻车的地方不是模型，是数据。你拿到的原始素材往往是一段段连续视频，直接丢给网络训练，帧与帧之间高度相似，验证集精度虚高，实际用起来一塌糊涂。dataset_process这个目录就是解决这件事的，里面文件按处理阶段拆得很细：
deal_video.py/deal_video_no_cut.py：视频抽帧，前者带剪切逻辑，后者整段处理cutVideo.py：把长视频切成短片段deal_video_tem.py/deal_video_adjust.py：抽帧时的时序处理和尺寸调整copyVideo.py：按类别拷贝视频到对应目录get_label.py：生成标签映射choose_train_validation.py：划分训练集和验证集check_datasets.py：数据集完整性检查process_dataset.py：总调度入口
这套拆法的好处是每一步可单独重跑。比如你发现验证集里某个类别样本太少，不用从头抽帧，改完copyVideo.py的拷贝逻辑再跑choose_train_validation.py就行。常见做法是先把所有视频按手势类别放进不同文件夹，再用get_label.py生成label_map.json，最后choose_train_validation.py按比例切分。这里有个参数要盯住：训练验证比例一般设 8:2 或 7:3，但手势类别如果本身不均衡，建议按类别分层抽样，否则某个手势可能验证集里一个样本都没有。
# choose_train_validation.py 核心逻辑示意 import os import random import shutil def split_dataset(src_dir, dst_train, dst_val, ratio=0.8): # src_dir 下每个子文件夹是一个手势类别 classes = os.listdir(src_dir) for cls in classes: cls_dir = os.path.join(src_dir, cls) videos = os.listdir(cls_dir) random.shuffle(videos) # 固定随机种子可复现 split_idx = int(len(videos) * ratio) train_files = videos[:split_idx] val_files = videos[split_idx:] # 分别拷贝到 train/val 对应类别目录 for f in train_files: shutil.copy(os.path.join(cls_dir, f), os.path.join(dst_train, cls, f)) for f in val_files: shutil.copy(os.path.join(cls_dir, f), os.path.join(dst_val, cls, f))这段逻辑的关键参数是ratio，控制训练集占比。random.shuffle前建议加random.seed(42)，不然每次跑划分结果不一样，实验没法复现。另外拷贝用shutil.copy而不是move，保留原始数据，切错了还能重来。
2.2 gesture_recognition：模型定义与训练入口
gesture_recognition是核心识别模块，目录里有models.py、dataset.py、transforms.py、main.py、experiment、opts.py。这个结构是典型的 PyTorch 训练工程布局：opts.py管超参，dataset.py管数据加载，transforms.py管预处理增强，models.py定义网络，main.py是训练入口。
models.py里能看到MLPmodule.py和lib、old_interface这些历史遗留，说明这个项目经历过从简单 MLP 到更复杂网络的迭代。network_arch.jpg这张图就是网络结构示意，答辩时直接放这张图讲架构比口头描述清楚得多。motion_fused_frames.jpg则是运动融合帧的示意，说明预处理阶段做了帧间运动信息融合，不是单纯抽单帧。
训练时重点关注opts.py里的几个参数：
| 参数 | 含义 | 建议值 |
|---|---|---|
| batch_size | 批大小 | 16 或 32，显存不够往下调 |
| lr | 学习率 | 1e-3 起步，不收敛降到 1e-4 |
| epochs | 训练轮数 | 50 起，看验证集早停 |
| num_classes | 手势类别数 | 跟 label_map 对齐 |
dataset.py负责把抽好的帧读进来，transforms.py做归一化和增强。这里有个容易忽略的点：如果训练时用了随机裁剪、翻转，推理时一定要关掉，否则同一只手势两次识别结果可能不一样。
2.3 gesture_location_system 与 show_UI：识别结果怎么变成交互
识别出类别只是第一步，真正的人机交互要把类别映射成具体操作。gesture_location_system.py负责手势定位，show_UI目录下的main_control.py、ppt_control.py、imageview_control.py、state_show.py分别对应主控、PPT 控制、图片浏览控制和状态显示。
communication目录的send.py和receive.py是模块间通信的桥梁。常见做法是识别进程通过 socket 或队列把结果发给 UI 进程，UI 进程根据手势类别触发翻页、缩放等动作。这种进程分离的设计好处是识别卡顿不会直接冻住界面，但要注意通信格式统一，建议用 JSON：
# communication/send.py 发送识别结果 import socket import json def send_result(host, port, gesture_label, confidence): payload = { "gesture": gesture_label, "confidence": float(confidence), "timestamp": time.time() } with socket.socket(socket.AF_INET, socket.SOCK_STREAM) as s: s.connect((host, port)) s.sendall(json.dumps(payload).encode("utf-8"))gesture_label是识别出的手势名，confidence是置信度，UI 端可以设个阈值，低于 0.6 就不触发动作，避免误识别导致 PPT 乱翻。timestamp用于去重，防止同一手势连续触发多次。
3. 环境配置与跑通流程：从 requirements 到第一次推理
3.1 依赖安装与 Python 环境
拿到源码第一步不是急着跑main.py，而是把环境配干净。requirements.txt里列了项目依赖，常见的是 torch、torchvision、opencv-python、numpy、Pillow 这几个。建议用虚拟环境，别往系统 Python 里装：
# 创建虚拟环境 python -m venv venv # 激活（Windows） venv\Scripts\activate # 激活（Linux/Mac） source venv/bin/activate # 安装依赖 pip install -r requirements.txt如果requirements.txt里 torch 版本跟你 CUDA 不匹配，别硬装，去 PyTorch 官网按你的 CUDA 版本选对应命令。CPU 也能跑，只是训练慢，推理影响不大。装完用python -c "import torch; print(torch.cuda.is_available())"确认 GPU 是否可用。
3.2 数据准备与训练启动
数据准备按第 2 章的流程走：原始视频按类别放好 →get_label.py生成标签 →choose_train_validation.py划分 →process_dataset.py统一处理。跑完检查check_datasets.py是否通过，它会告诉你有没有空目录、类别是否对齐。
训练启动：
cd gesture_recognition python main.py --config opts.pymain.py会读opts.py里的配置，加载dataset.py和models.py，开始训练。训练日志里重点看两个指标：训练 loss 是否稳定下降，验证集准确率是否跟着涨。如果训练 loss 降但验证准确率不涨，大概率过拟合，加 dropout 或数据增强；如果两个都不降，检查学习率是不是太大。
3.3 推理与 UI 联调
训练完保存权重，推理入口一般在gesture_system.py或run_deal_video.py。先单独跑推理确认模型输出正常，再启动 UI 联调：
# 先启动接收端（UI） cd show_UI python main_control.py # 再启动识别端 cd gesture_recognition python gesture_system.py联调时如果 UI 没反应，先看communication的端口是否一致，再看识别端有没有正常发出结果。常见做法是先在识别端 print 出每次识别的类别和置信度，确认识别本身没问题，再排查通信。
4. 避坑与排查：这套源码跑不起来时先看这几条
4.1 现象：训练时 loss 变成 nan
原因：学习率过大，或者输入数据没归一化，像素值 0-255 直接进网络。 解决：transforms.py里加Normalize，学习率从 1e-3 降到 1e-4 重跑。如果还 nan，检查数据里有没有损坏的帧文件。
4.2 现象：验证集准确率异常高，实际用起来全错
原因：抽帧时相邻帧太相似，训练集和验证集数据泄漏。 解决：划分数据集时按视频源划分，不要按帧随机划分。同一个视频的帧要么全在训练集，要么全在验证集。choose_train_validation.py里按视频文件切分而不是按帧切分。
4.3 现象：UI 端收到结果但动作触发多次
原因：识别端每帧都发结果，同一手势连续多帧触发。 解决：UI 端加去重逻辑，同一手势在 0.5 秒内只响应一次。或者识别端做平滑，连续 N 帧同一类别才发送。
4.4 现象：换一台机器跑，路径全报错
原因：源码里用了绝对路径或 Windows 反斜杠路径。 解决：全局搜C:\或/home/，改成os.path.join相对路径。opts.py里的数据路径建议做成命令行参数，别写死。
4.5 现象：requirements.txt 装完 import 报错
原因：依赖版本冲突，常见于 torch 和 torchvision 版本不匹配。 解决：先单独装 torch，再装 torchvision，最后装其他。或者用pip install torch torchvision --index-url指定版本源。
5. 进阶玩法：把识别结果接到真实交互场景
跑通基础流程后，这套源码还能往几个方向改。第一个方向是换模型，models.py里网络结构是独立的，你可以把 backbone 换成 MobileNetV3 或 ResNet18，改完在opts.py里调一下输入尺寸就行。第二个方向是加手势定位，gesture_location_system.py目前是独立模块，可以把它和识别结果融合，实现“识别是什么手势 + 手势在画面哪个位置”，这样交互精度更高。
第三个方向是接真实设备。show_UI里的ppt_control.py用的是模拟按键，你可以换成pyautogui直接控制鼠标键盘，或者接串口控制外部硬件。改的时候注意把控制逻辑和识别逻辑解耦，识别端只管发结果，控制端只管收结果执行动作，中间用communication隔开。
验证改动是否有效，我一般用这套流程：固定一段测试视频 → 跑推理记录每帧输出 → 对比改动前后的混淆矩阵。混淆矩阵能直观看出哪个手势容易被认错，比如“握拳”和“数字 0”如果混淆严重，就针对性补这类样本。
# 快速生成混淆矩阵验证改动效果 from sklearn.metrics import confusion_matrix import seaborn as sns import matplotlib.pyplot as plt cm = confusion_matrix(y_true, y_pred) sns.heatmap(cm, annot=True, fmt="d", cmap="Blues") plt.xlabel("Predicted") plt.ylabel("True") plt.savefig("confusion_matrix.png")y_true是真实标签，y_pred是预测标签，跑完看哪个格子数值异常大，就知道哪两个类别容易混。从那以后我每次改完模型或预处理，都强制先跑一遍混淆矩阵再决定要不要继续训，省得训了半天发现方向错了。希望帮到你。
本文还有配套的精品资源，点击获取
