1. 智能康复轮椅的轮子检测需求解析
医疗康复领域对自主跟随轮椅的需求正在快速增长。传统轮椅需要护理人员全程操作，而智能跟随轮椅能通过视觉识别技术实现自主移动，极大减轻了护理负担。在这个系统中，轮子的精准检测与识别是核心基础功能——它直接决定了轮椅能否稳定跟随使用者，以及避障、路径规划等后续操作的准确性。
我参与过三个医疗机器人项目，发现轮子检测面临几个特殊挑战：
- 金属轮毂的反光特性导致传统边缘检测算法失效
- 复杂场景下轮椅可能被部分遮挡（如被窗帘、行人遮挡）
- 需要实时处理（至少15FPS）以满足跟随需求
- 必须区分目标轮椅与其他轮椅/手推车
关键经验：在养老院实测中发现，HSV色彩空间+形态学处理的传统方案在光照变化时召回率会从92%暴跌至47%，这是促使我们转向深度学习的关键原因。
2. Mask R-CNN的改进训练方案设计
2.1 基础模型选型对比
我们测试了三种主流实例分割模型：
| 模型 | mAP@0.5 | 推理速度(FPS) | 显存占用 |
|---|---|---|---|
| YOLOv8-seg | 0.78 | 45 | 2.8GB |
| SOLOv2 | 0.82 | 28 | 3.5GB |
| Mask R-CNN | 0.85 | 22 | 4.1GB |
选择Mask R-CNN的核心考量是其更高的边界精度——轮子轮廓的精确分割对后续的移动控制至关重要。实测显示，2px的轮廓误差会导致轮椅行进方向产生1.2°偏差。
2.2 数据增强策略优化
针对轮椅场景的特殊性，我们设计了组合增强方案：
aug = Compose([ RandomBrightnessContrast(p=0.5), RGBShift(r_shift_limit=20, g_shift_limit=20, b_shift_limit=20, p=0.3), MotionBlur(blur_limit=7, p=0.2), # 模拟移动模糊 RandomShadow(shadow_roi=(0,0,1,0.5), p=0.3), # 上半区投影增强 CoarseDropout(max_holes=8, max_height=0.1, max_width=0.1, p=0.5) # 模拟遮挡 ])特别加入了金属反光模拟：在HSV空间随机增加V通道值并添加高光噪点。这种增强使模型在强光下的识别准确率提升了18%。
2.3 改进的损失函数
原始Mask R-CNN的损失函数： $$L = L_{cls} + L_{box} + L_{mask}$$
我们增加了两项改进：
- 轮廓敏感损失：对轮子边缘像素赋予3倍权重
- 对称性惩罚项：计算预测轮廓的对称轴误差
改进后的损失函数： $$L_{new} = L + 0.5L_{edge} + 0.3L_{sym}$$
3. 关键实现细节与调优
3.1 特征提取网络改造
将ResNet50的stage4卷积步长从2改为1，保留更多空间信息。同时：
- 在FPN输出层增加可变形卷积(DCN)
- 使用P2-P6多尺度特征（原版为P2-P5）
实测显示，这对小尺寸轮子的检测效果提升显著（<50px的轮子AP提升23%）。
3.2 训练技巧实录
- 学习率策略：采用CyclicLR，base_lr=0.002，max_lr=0.02
- 正负样本比例：通过OHEM保持1:3
- 关键参数：
rpn_pre_nms_top_n: 2000 -> 1200 # 减少冗余提议 mask_size: 28 -> 56 # 更高分辨率mask box_score_thresh: 0.05 -> 0.1 # 过滤低质量预测
避坑指南：发现batch_size>4时模型会倾向于漏检被遮挡轮子，最终采用batch_size=2累积梯度的方式平衡显存与效果。
4. 部署优化与实测效果
4.1 TensorRT加速方案
将PyTorch模型转为ONNX时需注意：
- 固定动态尺寸：
torch.onnx.export(..., dynamic_axes=None) - 添加自定义算子：
register_custom_op_symbolic('deform_conv2d', ...)
优化后的TensorRT引擎在Jetson AGX Xavier上达到37FPS，满足实时性要求。
4.2 实际场景测试指标
在三种典型环境下的表现：
| 场景 | 准确率 | 召回率 | 延迟(ms) |
|---|---|---|---|
| 室内标准光照 | 98.2% | 97.5% | 26 |
| 室外强光 | 91.7% | 89.3% | 28 |
| 低光+遮挡 | 83.4% | 80.1% | 32 |
4.3 典型问题排查手册
误检其他圆形物体：
- 解决方案：在数据集中加入负样本（垃圾桶、圆凳等）
- 添加形状约束：计算检测结果的圆度系数$C=4πA/P^2$
金属反光导致分割不完整：
- 数据增强时增加镜面反射合成
- 后处理中使用形态学闭运算填充空洞
近距离轮子过大超出图像：
- 动态调整ROI Align的pooled_size
- 添加边缘补偿机制：当检测框触及图像边界时自动扩展10%
