Holistic Tracking定制化开发：模型微调实战教程

Holistic Tracking定制化开发：模型微调实战教程

1. 引言

1.1 学习目标

本文将带你从零开始，完成基于 MediaPipe Holistic 模型的定制化微调全流程。你将掌握：

• 如何准备符合 Holistic 模型输入格式的关键点标注数据
• 构建轻量级训练 pipeline 实现关键点回归任务
• 在 CPU 可运行的前提下对模型进行参数冻结与部分层微调
• 集成自定义模型到 WebUI 界面并验证效果

最终实现一个能识别特定动作（如“比心”、“挥手”）或优化特定场景（如低光照姿态估计）的个性化全息感知系统。

1.2 前置知识

建议读者具备以下基础： - Python 编程能力 - 深度学习基本概念（损失函数、反向传播） - 熟悉 OpenCV 和 NumPy 操作 - 了解 MediaPipe 的基本使用方式

本教程不涉及模型结构重设计，聚焦于工程可落地的微调策略，适合希望快速部署个性化 AI 视觉功能的开发者。

2. 环境准备与项目结构搭建

2.1 开发环境配置

# 推荐使用 Python 3.9+ pip install mediapipe opencv-python numpy tensorflow torch torchvision labelme pandas scikit-learn

注意：MediaPipe 官方不支持直接修改.tflite模型权重，因此我们采用“外部回归器 + 特征提取”的间接微调方案，在保持原生性能的同时实现行为定制。

2.2 项目目录结构

holistic_finetune/ ├── data/ # 原始图像与标注文件 │ ├── raw_images/ │ └── labels_json/ ├── features/ # 提取的关键点特征缓存 ├── models/ # 训练保存的微调模型 ├── webui/ # Web 界面集成模块 │ └── app.py ├── extract_features.py # 关键点特征提取脚本 ├── train_regressor.py # 微调训练主程序 └── inference.py # 联合推理入口

该结构确保数据流清晰分离，便于后续扩展至多任务分类或实时流处理。

3. 数据准备与特征提取

3.1 数据采集与标注规范

由于无法直接修改 MediaPipe 内部模型，我们的微调目标是：在原始输出的关键点基础上，训练一个轻量级神经网络来修正或增强特定行为的识别精度。

数据要求：

• 图像尺寸：≥ 640×480，全身入镜且面部清晰可见
• 动作类别：定义明确的行为标签（如wave,heart_hand,squat）
• 标注工具：使用labelme进行手动标注，生成 JSON 文件记录行为标签

{ "imagePath": "img_001.jpg", "shapes": [ { "label": "heart_hand", "points": [] } ] }

每张图至少采集 50 张样本，建议总数据量 ≥ 1000 张以保证泛化性。

3.2 使用 MediaPipe 提取全息关键点特征

编写extract_features.py脚本批量提取 543 维关键点坐标作为输入特征。

import cv2 import mediapipe as mp import numpy as np import os mp_holistic = mp.solutions.holistic holistic = mp_holistic.Holistic( static_image_mode=True, model_complexity=1, enable_segmentation=False ) def extract_holistic_landmarks(image_path): image = cv2.imread(image_path) rgb_image = cv2.cvtColor(image, cv2.COLOR_BGR2RGB) results = holistic.process(rgb_image) if not results.pose_landmarks and not results.face_landmarks and not results.left_hand_landmarks: return None # 无效帧过滤 feature_vector = [] # Pose (33 points × 3 coords) if results.pose_landmarks: for lm in results.pose_landmarks.landmark: feature_vector.extend([lm.x, lm.y, lm.z]) else: feature_vector.extend([0.0] * 99) # Face (468 points × 3) if results.face_landmarks: for lm in results.face_landmarks.landmark: feature_vector.extend([lm.x, lm.y, lm.z]) else: feature_vector.extend([0.0] * 1404) # Hands (21×3 × 2 hands) for hand_lms in [results.left_hand_landmarks, results.right_hand_landmarks]: if hand_lms: for lm in hand_lms.landmark: feature_vector.extend([lm.x, lm.y, lm.z]) else: feature_vector.extend([0.0] * 63) return np.array(feature_vector) # Shape: (1998,)

运行脚本生成.npy特征缓存文件：

python extract_features.py --input_dir data/raw_images --output_dir features/train

4. 构建微调模型：轻量级回归器训练

4.1 模型选型与架构设计

我们构建一个两层全连接网络，用于从 1998 维特征中学习特定动作映射关系。

# train_regressor.py import torch import torch.nn as nn import torch.optim as optim from sklearn.preprocessing import LabelEncoder import numpy as np import glob class ActionRegressor(nn.Module): def __init__(self, input_dim=1998, hidden_dim=512, num_classes=4): super(ActionRegressor, self).__init__() self.fc1 = nn.Linear(input_dim, hidden_dim) self.dropout1 = nn.Dropout(0.3) self.fc2 = nn.Linear(hidden_dim, 128) self.dropout2 = nn.Dropout(0.2) self.classifier = nn.Linear(128, num_classes) self.relu = nn.ReLU() def forward(self, x): x = self.relu(self.fc1(x)) x = self.dropout1(x) x = self.relu(self.fc2(x)) x = self.dropout2(x) logits = self.classifier(x) return logits model = ActionRegressor(num_classes=4) # 支持4类动作

优势分析： - 参数量仅约 1.2M，可在边缘设备部署 - 与 MediaPipe 解耦，不影响原有推理速度 - 支持增量训练新动作类别

4.2 数据加载与训练流程

# 加载特征和标签 feature_files = glob.glob("features/train/*.npy") X, y = [], [] label_map = {"neutral": 0, "wave": 1, "heart_hand": 2, "squat": 3} encoder = LabelEncoder() for fpath in feature_files: feat = np.load(fpath) label_name = os.path.basename(fpath).split("_")[0] # e.g., wave_img_001.npy X.append(feat) y.append(label_map.get(label_name, 0)) X = np.stack(X) y = np.array(y) # 归一化 X_mean = X.mean(axis=0) X_std = X.std(axis=0) + 1e-8 X_norm = (X - X_mean) / X_std # 转为 Tensor X_tensor = torch.tensor(X_norm, dtype=torch.float32) y_tensor = torch.tensor(y, dtype=torch.long) # 划分训练集/测试集 dataset = torch.utils.data.TensorDataset(X_tensor, y_tensor) train_size = int(0.8 * len(dataset)) test_size = len(dataset) - train_size train_set, test_set = torch.random_split(dataset, [train_size, test_size]) train_loader = torch.utils.data.DataLoader(train_set, batch_size=32, shuffle=True) test_loader = torch.utils.data.DataLoader(test_set, batch_size=32) # 训练设置 device = torch.device("cuda" if torch.cuda.is_available() else "cpu") model.to(device) criterion = nn.CrossEntropyLoss() optimizer = optim.Adam(model.parameters(), lr=1e-3) # 训练循环 for epoch in range(50): model.train() running_loss = 0.0 for inputs, labels in train_loader: inputs, labels = inputs.to(device), labels.to(device) optimizer.zero_grad() outputs = model(inputs) loss = criterion(outputs, labels) loss.backward() optimizer.step() running_loss += loss.item() print(f"Epoch {epoch+1}/50, Loss: {running_loss/len(train_loader):.4f}") # 保存模型与标准化参数 torch.save(model.state_dict(), "models/action_model.pth") np.save("models/X_mean.npy", X_mean) np.save("models/X_std.npy", X_std)

5. 集成至 WebUI 并实现联合推理

5.1 扩展 WebUI 功能接口

修改webui/app.py，加入微调模型推理逻辑：

# inference.py import torch import numpy as np from models.model import ActionRegressor class CustomHolisticInference: def __init__(self, model_path="models/action_model.pth"): self.model = ActionRegressor(num_classes=4) self.model.load_state_dict(torch.load(model_path, map_location="cpu")) self.model.eval() self.X_mean = np.load("models/X_mean.npy") self.X_std = np.load("models/X_std.npy") self.action_labels = ["自然状态", "挥手", "比心", "下蹲"] def predict_action(self, landmarks_1998d): feat_norm = (landmarks_1998d - self.X_mean) / self.X_std input_tensor = torch.tensor(feat_norm, dtype=torch.float32).unsqueeze(0) with torch.no_grad(): output = self.model(input_tensor) prob = torch.softmax(output, dim=1)[0] pred_idx = output.argmax().item() confidence = prob[pred_idx].item() return self.action_labels[pred_idx], confidence

5.2 修改前端展示逻辑

在 WebUI 输出骨骼图的同时，叠加行为识别结果：

<!-- 示例 HTML 输出 --> <div class="overlay"> <p><strong>检测动作：</strong><span id="action">自然状态</span></p> <p><strong>置信度：</strong><span id="confidence">0.92</span></p> </div> <style> .overlay { position: absolute; top: 20px; left: 20px; background: rgba(0,0,0,0.6); color: white; padding: 10px; border-radius: 8px; font-family: Arial, sans-serif; } </style>

后端返回 JSON 增加字段：

{ "pose_landmarks": [...], "face_landmarks": [...], "hand_landmarks": [...], "custom_action": { "label": "比心", "confidence": 0.95 } }

6. 实践问题与优化建议

6.1 常见问题及解决方案

6.2 性能优化技巧

1. 特征降维：对非关注区域（如背部不可见点）进行掩码归零，减少冗余计算。
2. 时间序列融合：引入 LSTM 层处理视频流中的时序信息，提升动态动作识别稳定性。
3. 模型蒸馏：将复杂模型预测结果作为软标签，训练更小的学生模型用于移动端部署。
4. 缓存机制：对静态图像重复请求启用特征缓存，避免重复推理。

7. 总结

7.1 核心收获回顾

通过本教程，你已掌握如何在不修改 MediaPipe 原生模型的前提下，实现 Holistic Tracking 的定制化行为识别能力。核心要点包括：

• 利用 MediaPipe 提取 543 关键点生成 1998 维特征向量
• 构建轻量级 PyTorch 分类器实现动作微调
• 将外部模型无缝集成至 WebUI 系统
• 实现“上传→检测→识别→展示”完整闭环

这种方法既保留了 MediaPipe 的高效 CPU 推理优势，又赋予其可扩展的学习能力。

7.2 下一步学习路径

• 尝试接入摄像头实现实时动作反馈
• 扩展为多人动作识别系统（结合 Object Detection ROI）
• 结合语音识别打造多模态交互应用
• 将模型转换为 ONNX 格式部署至 Android/iOS

获取更多AI镜像

想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。