前阵子接到一个图像处理小项目，目标很朴素：输入一张包含手部的静态图像，判断它比的是 0 到 9 中的哪个手势。不能联网、不能调现成的深度学习模型，只能用基础图像处理方法，环境是 Matlab。项目最后落地的方案是：YCbCr 色彩空间做肤色分割，Canny 做边缘检测，形态学做清理，再从边缘轮廓中提取手部特征完成分类。整个过程可以概括成一句话：从分割到边缘检测，从轮廓到特征。这篇文章就把这条完整链路拆开来讲，顺便把我调试时踩过的坑、调过的参数、改过的思路都留在下面，给做同类课程设计或入门图像处理的人一个可以直接抄作业的参考。
1. 先想清楚再写代码：静态手势识别整体设计
很多人拿到这类题目第一反应就是找肤色阈值、上 Canny，然后幻想直接输出数字。我一开始也这么干过，效果惨不忍睹。后来回头梳理需求，才意识到真正的问题不是“边缘检测算法不够强”，而是“没有把问题拆干净”。
1.1 为什么是“静态”而不是“动态”
题目里的“静态”意味着输入是单张图片，不是视频流。这个限定很重要，它直接把问题从“运动跟踪 + 轨迹分析 + 时序建模”降维成了“单帧图像分类”。
一张静态手势图能提供的信息是有限的：颜色、纹理、边缘、形状。而我们能利用的稳定信号，主要是“手的形状”。动态手势常用的光流、帧间差分、轨迹路径这些信息，在静态场景里统统不能指望。这决定了技术路线必须围绕“从图像中恢复手的轮廓、再从轮廓中判断姿态”来做。
这里顺便说一句，很多人把静态手势识别和动作识别弄混。动作识别关心的是“手在动、往哪动、怎么动”，静态手势识别关心的是“这个姿势到底是几”。两者完全不是一类问题，评价指标也不一样。静态问题更看分割质量与特征表达能力，动态问题更看时序模型与运动跟踪质量。
1.2 方案选型：分割 + 边缘检测的组合逻辑
既然核心是形状，那就要拿到干净、完整、连续的轮廓。可行的路线有这么几条：
| 技术路线 | 优点 | 风险 |
|---|---|---|
| 原始 RGB 图直接阈值分割 | 简单 | 光照一偏就全崩 |
| 灰度图 + 全局边缘检测 | 实现快 | 背景中任何边缘都会混进来 |
| YCbCr 肤色分割 + Canny | 肤色聚成一团，背景干扰少 | 光照和肤色差异仍需调参 |
| 深度学习分割网络 | 精度上限高 | 违背题目“基础方法”约束、需要数据集 |
最终我选了“肤色分割 + 边缘检测”的组合，原因很实际：肤色在色彩空间中有一个比较稳定的聚类范围，先把皮肤像素圈出来，就等于给后续的边缘检测划定了一个感兴趣区域。在这个区域内再找边缘，得到的是手的轮廓，而不是满图的纹理噪声。
换句话说，分割不是为了直接识别，而是为了给边缘检测“清理战场”。这是这个系统设计中最重要的一个认知：先分割，再用边缘检测验证分割结果的形态。
1.3 系统流程与模块划分
完整流程如下：
- 读取图像，可选做一次光照补偿或直方图均衡化。
- 将 RGB 图像转换到 YCbCr 色彩空间。
- 对 Cb、Cr 分量设置肤色阈值，得到初步的肤色二值图。
- 用中值滤波、形态学开闭运算清除细小噪点，并提取最大连通域。
- 对最大连通域做孔洞填充，得到干净的手部掩膜。
- 在掩膜上执行 Canny 边缘检测，提取手部轮廓。
- 计算轮廓的径向距离曲线、凸包、实心度等特征。
- 根据特征分类到 0-9 手势。
模块划分要独立。分割是分割，边缘是边缘，分类是分类。每跑一步都把中间结果imshow出来看一眼。这一步看起来费时间，实际上能省掉后期大量排查时间。我在做的时候，是把每个模块封装成独立函数，方便单独调参数。
2. 预处理与肤色分割：把手从背景里抠出来
这个环节是整个系统能否成功的基石。分割一旦不干净，后面的边缘检测、轮廓提取都会收到“被污染”的输入，分类结果自然跟着出错。
2.1 色彩空间的选择：为什么不用 RGB 直接用
人眼觉得肤色就是“肉色”，但电脑在 RGB 空间里很难用一个矩形框把肤色框住。原因在于 RGB 三个分量高度相关，随着光照强度变化，三个通道的值会一起变，肤色点会在 RGB 空间里拉出一条很宽的对角线。直接对 R、G、B 设定阈值，往往是“这个场景调好了，换个角度就废了”。
YCbCr 色彩空间把亮度和色度分开：Y 是亮度，Cb 是蓝色差，Cr 是红色差。肤色像素在 Cb-Cr 平面上会聚成一个“准椭圆”区域，亮度变化对 Cb、Cr 的影响远小于对 RGB 的直接影响。所以肤色检测用 YCbCr 是实践上的首选之一。
Matlab 中直接用rgb2ycbcr函数，转出来以后分别取第 2、3 通道即可。
img = imread('gesture.jpg'); ycbcr = rgb2ycbcr(img); Cb = ycbcr(:, :, 2); Cr = ycbcr(:, :, 3);HSV 色彩空间也能做肤色分割，但它的 H 分量在肤色偏暗或偏红时抖动比较大，S、V 分量又要额外考虑。相比之下，YCbCr 的肤色聚类特性更稳定，所以我选了 YCbCr。不是说 YCbCr 万能，而是在“简单、稳定、可直接阈值化”三个条件下，它是平衡得最好的一个。
2.2 YCbCr 肤色阈值与分割实现
肤色阈值是一个需要手工标定的参数。公开资料里常给的区间大致是：Cb 在 77 到 127，Cr 在 133 到 173。但这个区间是多人种、多种光照下的统计结果，直接套到你的用例上并不一定合适。比如室内 LED 光源偏冷，肤色像素的 Cb 会偏高；普通白炽灯偏暖，Cr 会偏高。
我的做法是先随机取十张项目图片，手动框出皮肤区域，统计这些像素在 Cb 和 Cr 通道上的均值与标准差，再以均值为中心取一定的标准差范围。这样得到的阈值会比网上抄来的区间更贴近你的实际数据。
示例代码如下：
skinMask = (Cb >= 77 & Cb <= 127) & (Cr >= 133 & Cr <= 173); skinMask = imbinarize(skinMask);注意Cb >= 77 & Cb <= 127这种写法必须加括号。Matlab 里&和比较运算符混用的时候，优先级问题会导致逻辑混乱。这种低级错误我犯过一次，跑出来结果一片黑还能找半天原因。
实际标定阈值时，交互式操作最好用。开一个figure，加一个滑块分别控制 Cb 上下限和 Cr 上下限，拖动滑块实时观察掩膜效果。这个方法效率极高，几分钟就能把阈值调到一个比较合理的范围，远比“盲调参数 + 运行 + 看结果”的循环靠谱。
2.3 形态学清理：去噪、补洞、提取最大连通域
阈值分割得到的skinMask必然会有两类问题：背景中的类肤色像素被误判为皮肤，手部区域内因为光照、阴影、汗毛、饰品出现空洞。这些问题如果不处理，后面提取轮廓时会出现很多杂散边缘。
针对小噪点，先用中值滤波：
skinMask = medfilt2(skinMask, [5 5]);再用形态学开运算去除细小的连接，然后做闭运算填补手内部的小缝隙：
se = strel('disk', 3); skinMask = imopen(skinMask, se); skinMask = imclose(skinMask, se);开运算先腐蚀后膨胀，能把孤立的细小白色区域消掉；闭运算先膨胀后腐蚀，能把手内部的小黑点补上。结构元素用strel('disk', 3)或strel('disk', 5)，半径太大会把手指之间的缝隙也抹掉，太小吃噪效果差。建议用 3 到 5 之间，具体情况以自己的图为准。
然后提取最大连通域。一个人站在摄像头前，手是最大最完整的肤色区域，这一条在很多场景下成立。用bwareafilt可以一步得到最大连通域：
handMask = bwareafilt(skinMask, 1);注意bwareafilt(A, 1)默认保留面积最大的连通域。如果手部与背景里的某个肤色物体粘连，这个方法会直接把两个对象当成一个整体，这时候要么重新采集，要么引入额外条件，比如限制连通域面积范围。
最后填充孔洞：
handMask = imfill(handMask, 'holes');imfill只填充封闭区域，不会把手指之间形成的开口凹槽填掉，所以手指间隙仍然保留。这也是后面能数手指的基础。
做过这些操作之后，handMask 就是一个相对干净的二值图像。我习惯把它作为分割模块的最终输出，后续所有步骤都基于它，而不是基于原始图像。
3. 边缘检测与轮廓提取：让手型变成可计算的数据
分割给了我们一个“手在哪”的答案，但真正用于识别的是“手的形状”。形状必须转成数值特征，这一步依赖边缘检测与轮廓分析。
3.1 边缘检测算子对比：Sobel、Canny 与边缘连续性
常见的边缘检测算子有 Sobel、Prewitt、Roberts、Laplacian、Canny。前几个本质是求一阶导数或二阶导数的近似，速度快但边缘断断续续；Laplacian 对噪声特别敏感；Canny 做了高斯平滑、非极大值抑制、双阈值连接，边缘连续性和抗噪性都更好。
在已经得到干净掩膜的前提下，边缘检测其实变成了“提取二值图边界”的任务。不过用 Canny 仍然有意义，因为 Canny 会把内外边界同时提出来，而手部掩膜只有一个闭合外轮廓，得到的就是一条清晰的手部轮廓线。
edgeMask = edge(handMask, 'Canny', [0.1 0.25]);我实测下来，Canny 的低阈值建议设在 0.05 到 0.15，高阈值设在低阈值的 2 到 3 倍。这个组合在肤色掩膜上表现比较稳定。如果高阈值太小，内部纹理也会被当成边界；如果高阈值太大，手指之间的深谷容易被截断。
| 算子 | 边缘连续性 | 噪声敏感性 | 速度 | 适不适合本项目 |
|---|---|---|---|---|
| Sobel | 一般 | 高 | 快 | 不推荐 |
| Laplacian | 差 | 极高 | 快 | 不推荐 |
| Canny | 好 | 低 | 中 | 推荐 |
在掩膜上做边缘检测有一个好处：你已经把背景删掉了，边缘检测器只需要处理轮廓区域，不需要面对复杂纹理。某种意义上，这里 Canny 扮演的角色是“二值边界的验证器”，而不是“全图边缘探测器”。
3.2 从二值图提取轮廓与凸包
边缘图出来后，下一步是得到有序的轮廓点序列。Matlab 里常用bwboundaries：
B = bwboundaries(handMask, 'noholes'); boundary = B{1};boundary的第一列是行坐标（y），第二列是列坐标（x）。绘图的时候要注意坐标方向：
plot(boundary(:, 2), boundary(:, 1), 'LineWidth', 1.5); axis equal;bwboundaries返回的轮廓点并不是按切线方向均匀分布的，而是按照像素邻域顺序连接。后续计算特征前，最好对轮廓重新采样，比如每隔 5 个点取一个点，让数据量降下来，同时保持轮廓形状。
轮廓之外，我还会计算凸包。凸包就是包住整个手型的最小凸多边形。它有两个用途：一是计算“手型与凸包的贴合程度”，二是用来定位手指之间的凹陷点。
用convhull可以计算凸包：
k = convhull(boundary(:, 1), boundary(:, 2)); convexH = boundary(k, :);凸包面积和手部面积的关系可以用“实心度”solidity表示：
solidity = regionprops(handMask, 'Solidity');实心度等于手部面积除以凸包面积。对张开的手，手指之间的凹陷让面积比凸包小很多，实心度往往低于 0.7；对握拳手势，轮廓基本接近凸包，实心度会明显升高。这个特征在区分“拳头”和“张开的手”时特别有用。
3.3 轮廓特征怎么量化
边缘检测和轮廓提取的最终目的，是把一条曲线变成一组数字。我用到了这么几类特征：
- 几何特征：面积、周长、凸包面积、实心度、离心率。
- 形状特征：径向距离曲线的波峰数、波谷深度、曲线平滑度。
- 局部特征：凸缺陷数量、指尖位置、指根位置。
其中，最直接、最稳定的特征是“从手掌中心到轮廓点的距离变化曲线”。这个特征能直观体现“伸出了几根手指”。具体做法是这样的：先找到手掌中心，然后计算轮廓上每个点到手掌中心的距离，画出距离曲线。伸出的手指会形成一个明显的高峰，弯曲的手指则只有一个小的凸起。通过数高峰数量，就能知道伸出了几根手指。
这个思路比直接数凸缺陷更抗噪。凸缺陷在手腕、拇指根部也经常出现，极容易误判；而径向距离曲线至少能提供一个全局形状的直观描述。当然，它也不是没有缺点，比如手臂如果进入画面，距离曲线会多出一个巨大的“手臂峰”，这可能导致误判。所以采集时要求手心正对摄像头，手腕尽量保持在画面外。
4. 分类器设计与核心识别逻辑
分类器的任务是把上一环节得到的轮廓特征映射到 0-9。我没有用复杂分类模型，先用一套简单规则解决掉大部分情况，再用决策树兜底。
4.1 手掌中心与径向距离曲线
手掌中心我不用区域质心，而是用距离变换的最大值点。二值图像的距离变换bwdist计算每个前景像素到最近背景像素的距离，距离最大值点就是手部最大内切圆的圆心，比质心更接近“手掌心”这个语义位置。
distTrans = bwdist(~handMask); [~, idxMax] = max(distTrans(:)); [centerY, centerX] = ind2sub(size(handMask), idxMax);得到手掌中心后，计算轮廓每个点到中心的距离：
distances = sqrt((boundary(:, 1) - centerY).^2 + (boundary(:, 2) - centerX).^2);由于轮廓点是按顺序排列的，距离曲线可以看作随轮廓角度变化的周期信号。未平滑前，这个信号会有很多锯齿。先用平滑滤波：
distSmooth = smoothdata(distances, 'gaussian', 15);平滑窗口大小要根据轮廓点数调整。点数为 500 时，15 个点的窗口比较合适；点数为 2000 时，窗口可取 30 到 50。窗口太大，指尖峰会被抹平；窗口太小，噪声造成的假峰消不掉。
4.2 用波峰数判断伸出了几根手指
对于“0 到 5”的手势定义，我的数据集里规定：0 是握拳，1 到 5 是分别伸出对应数量的手指，其余手指握拳。这个定义下，伸直的手指会在径向距离曲线上拉出一个明显高峰。于是，手指数量近似等于距离曲线的显著波峰数量。
Matlab 从 R2017 开始内置了islocalmax函数，可以设置'MinProminence'过滤小峰：
numFingers = sum(islocalmax(distSmooth, 'MinProminence', 0.1 * max(distSmooth)));MinProminence的意思是“峰高于两侧相邻谷的最小高度差”。这里我用0.1 * max(dist)做归一化，因为不同图片的手到摄像头距离不同，绝对距离没有可比性。实验下来，这个阈值在 0.05 到 0.2 之间调整比较合理。
这个方法天然适配 1 到 5：伸一根手指就一个峰，伸五根就有五个峰。对于 0 也就是握拳，距离曲线基本平缓，显著波峰数量通常是 0，可以直接输出 0。但如果有人握拳时腕部骨骼比较突出，也可能出现一个假峰。所以我额外加了一条：如果numFingers == 1，再看实心度，实心度高说明轮廓接近凸多边形，大概率是拳头，不判为 1。
4.3 规则表与模板校验
综合特征后，我整理出了一套规则：
| 显著波峰数 | 实心度 | 判定结果 |
|---|---|---|
| 0 | > 0.75 | 0（拳头） |
| 1 | < 0.75 | 1 |
| 2 | - | 2 |
| 3 | - | 3 |
| 4 | - | 4 |
| 5 | - | 5 |
| 6 及以上 | - | 判为异常，需要重新采集 |
6 到 9 这类超过五根手指的纯手势定义在这种规则下无法区分。我的项目实际只要求识别 0-5，因为摄像头前单只手最多伸出五根手指。如果你想扩展到 6-9，就需要加入手势约定，例如用两只手组合、或者通过关节角度进一步区分。
为了提升稳性，我还在最后加了一个模板校验环节：预置每个数字的标准轮廓特征，算待测特征与各模板特征之间的欧氏距离，距离最近且小于阈值的才输出对应数字。规则表负责粗分类，模板校验负责拒绝误判。这套组合比单纯用规则表稳得多。
5. 实测效果与问题排查
代码写完之后，真正耗时间的不是写代码，而是调参和排查误判。这一章直接记录我遇到的几类典型问题，以及我的排查方法和最终调参方案。
5.1 三类翻车案例复盘
案例 A：光照过曝，手部过白
过曝之后，肤色像素在 YCbCr 空间里的 Cb、Cr 值会整体下沉，原来的阈值窗口抓不到足够像素，分割结果出现大片空洞。排查时不要只调阈值，先把图像整体处理一下。我加了histeq直方图均衡化，让亮度分布更均匀，再用原阈值分割，效果立刻好很多。如果直方图均衡化也救不回来，就要重新采集样本标定肤色区间。
案例 B：背景里出现肤色物体
我测试时背景里放了个黄色包装盒，结果最大连通域把手和盒子连在一起，轮廓成了一个奇怪的形状。这种问题的根源是“肤色分割本身无法区分皮肤和类皮肤颜色”。我的解决办法是更换一块纯色背景，并请测试者穿非肤色衣服。这里要强调，经典视觉方案需要可控环境，如果环境完全不受控，不要硬刚，深度学习才是正路。
案例 C：手臂进画面，距离曲线多了个巨峰
手腕和前臂肤色和手部相同，分割时把整条手臂都包进来，轮廓距离曲线里出现一个巨大的手臂峰，直接导致波峰数多算。后来我在分割之后加了一步粗略的“手部区域约束”：手掌中心到轮廓最大距离不超过某个经验值。或者更简单，采集时把手放进画面中央，手臂不要入镜。这个问题最好的解法是采集规范，而不是算法补洞。
5.2 可复现的调参清单
下面这张表是我最终用一个 200 张测试图集调出来的参数范围，直接复制到你的项目里作为初值是可以的：
| 参数 | 建议范围 | 作用 |
|---|---|---|
| Cb 下限 | 70-85 | 去除蓝色背景 |
| Cb 上限 | 120-135 | 保留正常肤色 |
| Cr 下限 | 130-140 | 去除非红色背景 |
| Cr 上限 | 170-185 | 过滤强红色区域 |
| 中值滤波窗口 | [5 5] | 去除小噪点 |
| 形态学结构元素半径 | 3-5 | 平衡去噪与保留细节 |
| Canny 低阈值 | 0.05-0.15 | 控制边缘起点 |
| Canny 高阈值 | 0.15-0.3 | 过滤弱边缘 |
| 平滑窗口 | 15-30 | 距离曲线平滑度 |
| MinProminence | 0.05-0.2 | 过滤非指尖小峰 |
这些参数不要机械照搬。先用我给的初值跑通一遍流程，再针对自己的图做局部微调。调参时一次只动一个参数，改完立刻看中间结果，否则很难判断是谁导致了误判。
5.3 验证方法和防过拟合建议
我建了一个小型测试集：0-5 每个手势 30 张，共 180 张，测试者手心正对摄像头，背景固定，光照稳定。跑完统计混淆矩阵，发现最主要的混淆发生在 0 和 1 之间，其次是 2 和 3 之间。
0 和 1 混淆的原因很典型：握拳时食指根部关节突出，径向距离曲线上形成了一个不低的小峰，被判成了 1。我的解决办法是加实心度约束，握拳实心度明显高于单指手势。
2 和 3 混淆的原因是中指和无名指在距离曲线上挨得太近，峰谷不够深。这时需要把MinProminence调大一点，让浅谷两侧的小峰被过滤掉。但我不能为了 2 和 3 调太大，否则 4 和 5 的细小指尖峰也会消失。所以最终MinProminence我取了动态值：先算出所有峰的最大高度，再取其 10% 作为阈值。
防过拟合的关键，是不要让验证集变成唯一的调试依据。我每调一次参数，会把调参前的图和调参后的图重新看一遍，确认改动没有破坏其他手势。如果只顾着让当前测试集准确率更高，很容易把参数调到完全失去泛化能力。
6. 更进一步的扩展方向与个人体会
这套系统在受限环境里跑到了不错的准确率，但它的上限也很明显：依赖肤色阈值、依赖手势约定、依赖光照。后续扩展至少有两条路。
第一条是保留现有分割框架，把分类器换成特征工程加机器学习模型。比如提取完轮廓和径向距离特征后，不手工写规则，而是用几组特征训练一棵决策树或一个轻量 SVM。分类器会自动学习特征权重，比自己盯着混淆矩阵调阈值更省心。好处是仍然可解释、依赖少，适合课程设计升级。
第二条是彻底换用深度学习方法。分割用轻量语义分割模型，分类用卷积网络或直接端到端分类。但这条路会把问题的性质变成“有监督数据工程”，需要大量标注数据，也需要 GPU 或预训练模型支持。如果题目允许，深度学习的精度会远高于传统方法。不过，我个人的感受是，经典图像处理管线里每个环节都看得见、摸得着，尤其适合用来建立“图像到底是怎么变成数值”的直觉。这种直觉，是以后做任何视觉方向都逃不掉的底层能力。
最后分享一个我在排错时养成的习惯：每处理一张图，都把原始图、肤色掩膜、形态学结果、边缘图、轮廓叠加图、距离曲线图六张中间结果拼成一张大图保存下来。跑批量测试时，一页一页翻过去，问题出现在哪个环节一目了然。这个方法让我的调参效率至少提升了一倍。
如果正在做类似项目，我建议你不要急着追求“最终识别率”，先把每一步的中间结果看到吐。分割干净了，边缘自然连续；轮廓连续了，特征才有意义；特征稳定了，分类才不会是碰运气。整套系统真正难的不是算法，而是让每一步的输入足够稳定。
