从‘眼在手上’到‘眼在手外’：机械臂视觉方案选型与标定实战指南
在工业自动化领域，机械臂与视觉系统的结合已成为提升生产柔性的关键技术。当工程师面对"相机究竟该装在机械臂末端还是固定在工作台"这一基础却关键的选择时，往往陷入技术决策的困境。两种主流方案——Eye-in-Hand（眼在手上）和Eye-to-Hand（眼在手外）——在标定流程、精度表现和应用场景上存在显著差异，直接影响着最终系统的可靠性和效率。
1. 方案选型：核心考量与决策树
1.1 空间覆盖与动态特性对比
Eye-in-Hand方案将相机直接安装在机械臂末端执行器附近，其核心优势在于：
- 动态视野：相机随机械臂运动，可灵活获取不同角度的视觉信息
- 近场高精度：在精密装配场景中，末端视野能捕捉毫米级细节
- 避障优势：实时监测机械臂与周边环境的相对位置
典型应用场景包括：
- 复杂曲面的质量检测
- 狭窄空间内的零件抓取
- 需要实时视觉反馈的精密操作
Eye-to-Hand方案则将相机固定在工作环境外，特点表现为：
- 全局视野：保持对整个工作区域的持续监控
- 稳定性：不受机械臂振动影响，标定参数更持久
- 多机协同：单个相机可服务多个机械臂单元
常见于以下场景：
- 大型物料的分拣与码垛
- 传送带跟踪抓取
- 需要全局监控的焊接/涂胶工序
1.2 选型决策矩阵
| 考量维度 | Eye-in-Hand | Eye-to-Hand |
|---|---|---|
| 视野范围 | 局部动态视野 | 全局静态视野 |
| 标定复杂度 | 较高（需考虑运动轨迹） | 较低（固定坐标系） |
| 维护成本 | 需定期重新标定 | 一次标定长期有效 |
| 适用精度 | 末端0.1mm级 | 工作空间1mm级 |
| 系统延迟 | 较低（近距离传输） | 较高（需考虑传输距离） |
| 环境适应性 | 受机械臂振动影响 | 抗干扰能力强 |
实际选型时建议进行双方案原型测试，用数据说话比理论分析更可靠
2. Eye-in-Hand标定全流程解析
2.1 标定前的硬件准备
成功的标定始于规范的硬件配置：
- 标定板选择：建议使用棋盘格尺寸不小于7x9的亚克力标定板，确保在机械臂工作距离内清晰可见
- 机械臂校验：
- 确认各轴零点校准完成
- 验证TCP（工具中心点）标定误差＜0.1mm
- 相机设置：
# OpenCV相机参数预设示例 camera.set(cv2.CAP_PROP_FRAME_WIDTH, 1920) camera.set(cv2.CAP_PROP_FRAME_HEIGHT, 1080) camera.set(cv2.CAP_PROP_AUTO_EXPOSURE, 0) # 关闭自动曝光 camera.set(cv2.CAP_PROP_EXPOSURE, 100) # 手动设置曝光值
2.2 九点标定法的实战技巧
采用改良的九点标定法可提升标定精度：
- 在工作空间内定义3层不同高度的标定平面（Z轴间隔≥50mm）
- 每层平面采集3个位姿（形成3x3空间矩阵）
- 每个位姿确保：
- 标定板占据视野1/3以上面积
- 棋盘格倾斜角度在30°-60°之间
- 不同位姿间机械臂关节角度变化＞15°
常见问题处理：
- 图像模糊：降低机械臂运动速度至50%以下
- 角点检测失败：调整环境光照，或改用ArUco标记
- 奇异位姿：在示教器中预先检查各轴负载率
2.3 标定结果验证方法
建立三重验证机制：
- 重投影误差：检查各标定点像素误差应＜1.5px
# 使用OpenCV计算重投影误差 cv2.computeReprojectionError(calibration_points) - 空间一致性测试：固定标定板，用不同位姿反算物理坐标，偏差应＜0.2mm
- 实操验证：执行实际抓取测试，重复定位精度达标率＞95%
3. Eye-to-Hand系统的特殊考量
3.1 大视野标定的精度优化
固定相机的标定面临独特挑战：
- 畸变校正：广角镜头需额外校准径向畸变参数
- 多平面补偿：建议采用双平面标定法补偿景深误差
- 环境干扰：安装防震支架，避免设备振动影响
优化后的标定流程：
- 在机械臂工作空间内布置至少15个标定点
- 使用激光跟踪仪测量标定板实际物理坐标
- 建立非线性优化模型：
% MATLAB非线性优化示例 options = optimoptions('lsqnonlin','Display','iter'); params = lsqnonlin(@cameraModel, initialGuess, [], [], options);
3.2 动态标定维护策略
即使固定安装，仍需建立维护机制：
- 温度补偿：每10℃环境温度变化需重新校验
- 定期验证：每周执行标准球重复定位测试
- 异常监测：设置特征点位置阈值报警
4. 工程实践中的避坑指南
4.1 六大典型问题解决方案
标定结果不稳定
- 检查机械臂重复定位精度
- 验证相机帧率与机械臂运动速度匹配度
远距离精度骤降
- 使用telecentric远心镜头
- 实施分段标定策略
多相机协同标定
// 多相机标定数据融合 vector<Mat> allCameraPoses; calibrateMultiCamera(allCameraPoses, unifiedWorldFrame);动态目标追踪延迟
- 优化图像处理流水线
- 采用预测滤波算法
强反射表面处理
- 安装偏振滤镜
- 使用结构光补偿
长周期精度漂移
- 建立自动标定触发机制
- 在关键工位设置参考标记物
4.2 标定工具链选型建议
开源方案：
- OpenCV + ROS Industrial
- Halcon开发版（非商业用途免费）
商业软件：
- Cognex VisionPro
- Matrox Imaging Library
专用设备：
- 激光跟踪仪（Leica/API）
- CMM测量臂（Faro/Romer）
在实际汽车焊装项目中，我们曾通过Eye-in-Hand方案将视觉引导精度从±1.2mm提升至±0.3mm，但代价是每周需要重新标定。而在家电装配线上，固定相机方案虽然初始标定耗时8小时，但稳定运行6个月无需调整。这种差异正是工程决策中需要权衡的关键点。
