姿态估计+时间轴对齐：用关键点数据量化舞蹈进阶幅度

先说一个能落地的结论：舞蹈进步程度不是只能靠肉眼判断。只要首周首场和次周首场两段视频都拍到了完整全身，就能用姿态估计技术把它量化成一组数据。比如肘关节角度误差缩小了多少、抬手动作的覆盖率提升了几帧、两段视频在相同动作点的姿态相似度上升了几个百分点。这些东西比“感觉更顺了”更适合做复盘。

这次我们讲的是一整套姿态对比分析链路，而不是某个特定的一键部署软件。核心链路是：视频预处理 -> 人体关键点提取 -> 时间轴对齐 -> 关节角度与相似度计算 -> 输出量化报告。用到的开源组件都很成熟：MediaPipe 负责人体关键点提取，OpenCV 负责视频读写，NumPy/SciPy 负责数值计算，FFmpeg 负责把两段视频统一到相同帧率和分辨率，可选 Flask 把分析逻辑封装成 HTTP 接口。

量化舞蹈进步的关键，是把“跳得更好了”这句话翻译成三个可计算的问题：

• 同一动作周期内，各关节角度误差是否缩小。
• 完成动作的帧覆盖率是否提高，也就是“是不是更多时间点在标准动作范围内”。
• 两段视频对齐后，全身姿态向量的相似度是否上升。

最终得到的不是“进步了”三个字，而是一张带数字的对比表。这篇文章会按照环境准备、分析链路设计、功能测试、接口封装、批量任务、性能观察和问题排查的顺序展开。如果你只是手上有两段舞蹈视频想快速验证，可以直接跳到第 5 节，先跑通单组对比再说。

1. 核心能力速览

能力项	说明
对比对象	首周首场与次周首场的舞蹈视频，也可扩展到任意两段运动姿态视频
核心技术	MediaPipe/OpenPose 姿态估计、FFmpeg 视频预处理、DTW 时间轴对齐、关节角度差与相似度计算
核心输出	每帧关键点坐标、关节角度序列、两组视频的角度误差、动作覆盖率、整体相似度评分
运行系统	Windows / Linux / macOS 均可，Python 环境
硬件门槛	低分辨率单视频用普通 CPU + 8G 内存可以跑；高分辨率或大批量建议使用 NVIDIA 显卡
启动方式	Python 脚本、命令行批处理，可选 Flask HTTP API
API 能力	可封装成 POST /analyze 接口，返回 JSON 格式结果
批量任务	支持按目录批量对比，输出 CSV / JSON 汇总
适合场景	舞蹈练习复盘、舞蹈教学评估、运动姿态对比、康复训练动作监测

显存占用没有固定答案，取决于你选择的姿态估计模型、视频分辨率和一次处理多少帧。MediaPipe 的 Pose 模型在 CPU 上主要吃内存，在 GPU 上会占少量显存；OpenPose 这类更重的模型显存需求会明显增加。你只需要知道一个原则：分辨率越高、帧数越多、模型越重，显存和内存压力越大。

2. 适用场景与使用边界

这套分析链路适合以下场景：

• 舞蹈练习者做周复盘，比较两周前和现在的动作稳定性。
• 舞蹈老师做教学评估，用数据告诉学生“手腕轨迹更稳了，但膝盖角度还不够”。
• 运动分析开发者，需要一套可复用的姿态对比管线。
• 康复训练场景，对比患者动作是否逐渐回到正常角度范围。

它不适合用来评价艺术表现力、表情管理、舞台感染力这些主观维度。姿态估计只能回答“骨骼关键点的位置和角度”，不能回答“这段舞有没有灵魂”。如果两段视频的拍摄机位、人物比例、灯光差异很大，数据可比性会明显下降，此时优先修正拍摄条件，而不是调整算法。

使用边界必须明确：如果对比的视频里包含他人形象，要在获得授权的前提下使用。涉及未成年人、非公开影像、演出舞台录像等素材时，前期就要确认用途和传播范围。图像分析和姿态数据属于个人信息的一部分，建议只在本机处理，不随意上传到第三方接口。如果后面要商用或发布分析报告，需要对原始素材做二次确认。

3. 环境准备与前置条件

这一节给出一套通用环境准备流程。这里没有固定版本号，因为不同系统上的 Python 和依赖版本会不同。建议使用 Python 3.9 到 3.11 之间的版本，较新的 MediaPipe 版本对 3.12 的支持情况需要按你安装时的实际环境确认。

先创建项目目录和虚拟环境：

mkdir dance-compare && cd dance-compare python -m venv venv source venv/bin/activate

Windows 系统激活虚拟环境的命令是：

venv\Scripts\activate

安装核心依赖：

pip install opencv-python mediapipe numpy pandas scipy flask

如果要用 FFmpeg 统一视频帧率和分辨率，系统里需要提前安装 FFmpeg。Windows 用户可以到 FFmpeg 官网下载可执行文件并加入 PATH，macOS 可以用 Homebrew 安装：

brew install ffmpeg

视频素材的准备要求：

• 两段视频拍摄同一个人的全身，尽量保持同一机位和类似景别。
• 画面里人物不能太小，建议人物高度占画面高度的 60% 以上。
• 灯光不要太暗，避免身体边缘和背景融为一体。
• 最好穿贴身或运动服装，宽大裙子会影响关键点检测。
• 两段视频的时长可以不同，但动作内容应该有对应关系。

目录结构建议：

dance-compare/ ├── venv/ ├── week1/ # 放首周首场视频 ├── week2/ # 放次周首场视频 ├── output/ # 放分析结果 └── compare.py # 主脚本

4. 分析链路设计：从视频到进步指标

4.1 视频预处理

两段舞蹈视频的帧率和分辨率很可能不一样，直接做逐帧对比会错位。先用 FFmpeg 统一成相同帧率和宽度：

ffmpeg -i week1/week1_show.mp4 -vf "fps=30,scale=960:-1" output/week1_30fps.mp4 ffmpeg -i week2/week2_show.mp4 -vf "fps=30,scale=960:-1" output/week2_30fps.mp4

这条命令把帧率统一为 30，宽度统一为 960，高度按比例自动计算。实际使用时要替换成你的文件名和想要的宽度。

4.2 人体关键点提取

使用 MediaPipe Pose 提取每帧人体关键点。MediaPipe 提供 33 个身体关键点，包含肩膀、手肘、手腕、髋部、膝盖、脚踝等。用脚本按帧读取视频，把每帧的关键点坐标和可见度保存下来：

import cv2 import mediapipe as mp import json mp_pose = mp.solutions.pose pose = mp_pose.Pose( static_image_mode=False, model_complexity=1, min_detection_confidence=0.5, min_tracking_confidence=0.5 ) def extract_keypoints(video_path): cap = cv2.VideoCapture(video_path) keypoints = [] while cap.isOpened(): ret, frame = cap.read() if not ret: break rgb = cv2.cvtColor(frame, cv2.COLOR_BGR2RGB) results = pose.process(rgb) if results.pose_landmarks: frame_kps = [] for lm in results.pose_landmarks.landmark: frame_kps.append({ "x": lm.x, "y": lm.y, "z": lm.z, "visibility": lm.visibility }) keypoints.append(frame_kps) else: keypoints.append([]) cap.release() return keypoints kps_week1 = extract_keypoints("output/week1_30fps.mp4") kps_week2 = extract_keypoints("output/week2_30fps.mp4") with open("output/week1_keypoints.json", "w") as f: json.dump(kps_week1, f) with open("output/week2_keypoints.json", "w") as f: json.dump(kps_week2, f)

这段脚本把两段视频的关键点保存成 JSON 文件。没有检测到人的帧会保存为空数组，后续处理时可以直接跳过。

4.3 时间轴对齐

两段视频即使都转成 30 帧，动作也不一定正好对在同一帧。更稳妥的做法是用动态时间规整（DTW）对齐两组关键点序列。

DTW 的核心思路是：允许两段序列在时间轴上伸缩，寻找一条累计距离最小的路径。这样即使首周动作慢半拍、次周动作快一点，也能把相似动作对应起来。

一个简化的二维 DTW 距离计算示例：

def dtw_distance(seq_a, seq_b): n, m = len(seq_a), len(seq_b) dp = [[0.0] * m for _ in range(n)] for i in range(n): for j in range(m): cost = abs(seq_a[i] - seq_b[j]) if i == 0 and j == 0: dp[i][j] = cost elif i == 0: dp[i][j] = cost + dp[i][j - 1] elif j == 0: dp[i][j] = cost + dp[i - 1][j] else: dp[i][j] = cost + min( dp[i - 1][j], dp[i][j - 1], dp[i - 1][j - 1] ) return dp[n - 1][m - 1]

实际使用时，直接对包含 33 个关键点的高维数据做 DTW 会很慢，所以通常先对关键点做降维，比如只使用左右肩、左右髋、左右肘的角度序列。也可以把每帧所有关键点拼接成一个特征向量，先用 PCA 降到几个维度，再计算 DTW。需要说明的是，这里的 DTW 函数是最小可运行示例，大规模长视频建议分段抽样或使用dtaidistance这类专门库。

4.4 进步指标计算

对齐之后，可以计算三个核心指标。

第一个是关节角度误差。选择肘关节和膝关节这类角度变化明显的关节，逐帧计算角度差。先写一个通用的三点角度计算函数：

import math def joint_angle(a, b, c): ba = [a[0] - b[0], a[1] - b[1]] bc = [c[0] - b[0], c[1] - b[1]] dot = ba[0] * bc[0] + ba[1] * bc[1] norm_ba = math.hypot(ba[0], ba[1]) norm_bc = math.hypot(bc[0], bc[1]) if norm_ba == 0 or norm_bc == 0: return None cos_theta = max(-1.0, min(1.0, dot / (norm_ba * norm_bc))) return math.degrees(math.acos(cos_theta))

第二个是动作覆盖率。覆盖率代表两段视频对齐之后，有多少帧的对应动作落在允许误差范围内。比如肘关节角度相差小于 10 度的帧，可以标记为“合格帧”，合格帧数量占可检测帧总数的比例就是覆盖率。这个阈值不是固定标准，需要根据你的舞蹈动作幅度来调。

第三个是整体相似度。对关键点坐标做归一化后，计算对应帧之间的欧氏距离，再取整个时间序列的平均值。平均距离越小，说明两段视频的动作姿态越接近。因为首周和次周本来就是跳同一支舞，所以这里的“相似”指的是动作完成度更接近标准动作。

5. 功能测试与效果验证

5.1 单视频关键点检测测试

先只处理一段视频，确认关键点检测是否正常：

python compare.py --video output/week1_30fps.mp4 --mode single

预期结果：终端输出检测到的总帧数、有人存在的帧数、平均每帧关键点数量。如果没有人帧数接近总帧数的一半，说明视频画面里人物位置、清晰度或灯光存在问题。可以先抽一帧可视化，把关键点画到画面上：

def draw_keypoints(frame, keypoints): for kp in keypoints: x = int(kp["x"] * frame.shape[1]) y = int(kp["y"] * frame.shape[0]) cv2.circle(frame, (x, y), 3, (0, 255, 0), -1)

判断标准：关键点能稳定落在手腕、手肘、肩膀、膝盖、脚踝上。如果手部关键点频繁跳到背景上，说明人物和背景的对比度不够，或者模型需要降低检测阈值。

5.2 双视频对齐测试

对齐测试主要看两段视频的关节角度序列是否能对上节奏。把首周和次周的左肘角度序列画在同一张折线图上，如果两个波峰和波谷大体对应，说明时间轴对齐成功；如果错位严重，检查两段视频是不是存在整段不同步，比如首周从音乐前奏开始录，次周从间奏开始录。

5.3 进步程度指标测试

进行正式对比：

python compare.py --video1 output/week1_30fps.mp4 --video2 output/week2_30fps.mp4 --output output/result.json

结果文件大致长这样：

{ "left_elbow": { "mean_abs_error": 4.3, "coverage_10deg": 0.82 }, "right_elbow": { "mean_abs_error": 5.1, "coverage_10deg": 0.77 }, "overall_similarity": 0.91 }

判断是否进步，重点看三个信号：

• 次周相对于首周，平均角度误差是否变小。
• 覆盖率是否提高，也就是合格帧占比是否上升。
• 整体相似度是否更接近目标参考动作，这个指标需要结合标准动作视频一起使用才更有意义。

单独拿首周和次周比，只能说明“次周和首周不一样”；要判断进步方向，必须有一个参考标准，比如老师的示范视频，或者你自己确定的“标准动作帧”。

5.4 判定参考

不推荐设置一个绝对的通用的“进步阈值”。因为不同舞蹈的快慢、幅度、遮挡程度差别很大。建议先选一个动作最清晰、幅度最稳定的片段，比如副歌里的一个定点动作，单独计算角度误差。如果这个定点动作的角度误差从首周的 8 到 10 度降到次周的 4 到 6 度，那基本可以说明过程是先发散再收敛，也就是更稳定了。这个判定思路可以记为：看趋势，不看单次绝对值。

6. 接口 API 与批量对比任务

6.1 HTTP 接口封装

用 Flask 封装成一个简易分析服务。下面是一个通用模板：

from flask import Flask, request, jsonify app = Flask(__name__) def run_comparison(video_a, video_b): # 这里调用关键点提取、DTW对齐和指标计算 # 返回结果是一个 dict return { "left_elbow_error": 4.3, "right_elbow_error": 5.1, "overall_similarity": 0.91 } @app.route("/analyze", methods=["POST"]) def analyze(): data = request.get_json() video_a = data.get("video_a") video_b = data.get("video_b") if not video_a or not video_b: return jsonify({"error": "video_a and video_b are required"}), 400 result = run_comparison(video_a, video_b) return jsonify(result) if __name__ == "__main__": app.run(host="127.0.0.1", port=5000)

启动服务：

python api_server.py

调用接口：

curl -X POST http://127.0.0.1:5000/analyze \ -H "Content-Type: application/json" \ -d '{"video_a": "output/week1_30fps.mp4", "video_b": "output/week2_30fps.mp4"}'

接口启动后返回的是 JSON，可以直接接入到自己的复盘脚本或教学工具里。注意：这个接口默认只监听 127.0.0.1，不要直接暴露到公网。如果要做公网访问，前面要加认证和访问控制。

6.2 批量任务设计

批量任务的核心是目录配对。假设 week1 和 week2 目录下都有 10 个视频，且文件名一一对应，可以用一段脚本处理：

import os import csv import json def batch_compare(left_dir, right_dir, output_csv): rows = [] left_files = sorted(os.listdir(left_dir)) for name in left_files: if not name.endswith(".mp4"): continue left_path = os.path.join(left_dir, name) right_path = os.path.join(right_dir, name) if not os.path.exists(right_path): continue # 调用单组对比流程 result = run_comparison(left_path, right_path) rows.append({ "video": name, "left_elbow_error": result["left_elbow_error"], "right_elbow_error": result["right_elbow_error"], "overall_similarity": result["overall_similarity"] }) with open(output_csv, "w", newline="", encoding="utf-8") as f: writer = csv.DictWriter(f, fieldnames=rows[0].keys()) writer.writeheader() writer.writerows(rows) batch_compare("week1", "week2", "output/batch_result.csv")

批量任务最容易踩的坑是左右视频不一一对应。建议按文件名排序后先打印一次匹配清单，确认无遗漏再正式跑。批量处理建议增加日志和断点续跑：每个视频处理完成后追加写入 CSV，这样中途崩溃也不会丢失已完成结果。

7. 资源占用与性能观察

MediaPipe 的 Pose 模型在 CPU 上跑 960 宽度的视频，单帧推理耗时通常在几十毫秒到一百多毫秒之间，具体取决于 CPU 型号和后台负载。如果整段视频有几百帧，单视频处理可能只需要几十秒。这个范围是基于常见部署观察得到的，不是固定数据，你的机器上可能更快或更慢。

影响性能的主要因素有三个：

• 视频分辨率。分辨率越高，预处理和关键点检测越慢。
• 帧率。30 帧视频比 15 帧视频需要处理更多帧，但动作对比精度不一定线性提升。
• 模型复杂度。MediaPipe 的 model_complexity 参数从 0 到 2，越高越准也越慢。建议先使用 1，检测不稳定时再调到 2。

如果想要降低资源占用，可以按顺序做三件事：

• 把视频宽度缩到 720 或 640。
• 把不需要分析的片头片尾裁掉。
• 将帧率统一到 20 或 25，而不是必需 30。

处理长时间视频时，内存占用会持续增长，因为关键点数据都保存在列表里。一个折中的办法是分片处理：每处理 500 帧就保存一次临时结果，最后合并。

8. 常见问题与排查方法

问题现象	可能原因	排查方式	解决方案
检测不到人体	人物太小、逆光、遮挡严重	抽取中间帧保存为图片并可视化	放大画面人物占比、增加灯光、避免遮挡
关键点抖动明显	检测置信度阈值过低	打印置信度分数	调高 min_detection_confidence 到 0.6 或 0.7
两段视频时间对不齐	帧率不同或音乐节奏不同	用角度序列画折线图观察	统一FPS、裁剪片头片尾、使用DTW
左右手被识别反了	视频是镜像画面或人物转身	检查关键点ID标号	按需求交换左右关节坐标或确认是否使用镜像视频
关节角度计算结果异常	关键点遮挡导致坐标跳变	计算该帧前后角度差值	对角度序列做滑动平均滤波
批量任务卡住	某个视频损坏或文件锁占用	打印当前处理文件名	跳过损坏文件或加入超时机制
API 返回超时	视频过长或服务同步处理	检查日志	改用异步任务队列
内存持续增长	所有帧关键点都保存在内存中	观察进程内存	分片保存或只保留需要计算的帧

关于镜像问题需要多说一句：如果两段视频中有一段是镜像录制的，同一侧手肘的坐标会左右互换。判断方法很简单，看画面里人物的左手上是否有护腕等明显标记。如果有，后续对比时要对镜像视频做左右对称处理。

9. 最佳实践与使用建议

第一，固定拍摄机位。对比分析的准确性很大程度取决于两段视频的拍摄条件是否一致。机位变化会导致人物在画面中的比例和角度发生改变，这部分误差会被算成“舞蹈进步”。更稳妥的对比是同一面墙前、同一个景别、同一台手机位置。

第二，先做小参数验证。第一次跑通流程时，把分辨率降到 640，帧率降到 15，只处理 10 秒的片段。确认整条链路能出结果，再放到完整视频上。这样能节省大量调试时间。

第三，建立目录规范。建议按照原始素材、预处理视频、关键点 JSON、结果 CSV 四层目录管理。原始素材不能动，这样后面可以随时回看预处理是否正确。

第四，保留一套最小可运行配置。把环境准备、预处理命令、分析脚本放到同一个目录，写一个 README 记录命令。这样换机器部署时可以快速恢复环境。

第五，批量任务要加日志。每个视频处理的开始时间、结束时间、失败原因都记录到日志文件里。如果处理到第 20 个视频发现异常，不需要从头跑。

第六，注意授权和隐私。涉及人脸和可识别个人形象的视频都受个人信息保护规则约束。自己练习视频只能在自己设备上处理。如果要对外分享对比数据，建议去掉可识别个人身份的信息。

第七，发布分析结论前要做效果复核。姿态数据只能说明动作角度和轨迹的变化，不能说明舞蹈情感或表现力。进步、稳定、协调这些词需要结合实际画面判断，不要让数据单方面下结论。

10. 总结与下一步

这套姿态对比分析链路最大的价值，是把舞蹈复盘从“凭感觉”变成“看趋势”。最值得验证的点是：两段视频在相同拍摄条件下，关节角度误差是否收敛、动作覆盖率是否上升、整体相似度是否提高。先用一段 10 秒小片段跑通，再处理完整视频是最省时间的路径。

最容易踩的坑有三个：两段视频拍摄条件不一致导致数据失真、时间轴没有对齐就逐帧比较、以及把同步率误当成进步率。预处理和对齐这两步做得越扎实，后面指标才有参考价值。

如果你手上有两份周度舞蹈素材，建议先跑一遍第 5 节的验证流程，拿到第一份角度误差数据。接下来可以扩展的方向包括：接入 OpenPose 做更细的手部关键点分析、用目标追踪解决人物移动问题、把结果统一成周报模板。技术链路并不复杂，但数据管理习惯和拍摄规范，往往决定这套方法能不能长期用下去。