做机器人视觉抓取，绕不开的一关就是手眼标定。我最近用 Intel RealSense D435 配睿尔曼机械臂，把整套流程完整跑通了一遍。这篇就按我实际干活的经验，把用 Python 完成手眼标定的 5 个关键步骤拆开讲：每步做什么、为什么这么做、有哪些坑。想抄作业的直接顺着走，想搞懂原理的也能看明白。
这篇适合正在搭视觉引导抓取、分拣或码垛系统的工程师，也适合实验室里刚接触机器人视觉的学生。你不需要多深的数学功底，但最好会一点 Python 和基本的坐标系概念。我尽量用大白话把矩阵变换讲清楚，毕竟标定这事儿，最难的不是调库，而是搞明白每个坐标系到底是怎么转的。
1. 先搞清楚：手眼标定到底在求什么
1.1 用大白话讲透坐标系变换
手眼标定问题的本质是：相机看到物体了，怎么把这个物体的位置告诉机械臂？
机械臂干活是在“基座坐标系”里干活的，你给机械臂下发坐标，永远是相对于基座的原点和轴方向。而相机看到的坐标是在“相机坐标系”里的。两个坐标系之间差了一个旋转加平移，这就是我们常说的 4x4 齐次变换矩阵 T。手眼标定求的不是物体在哪，而是求出“相机坐标系”和“机械臂基座坐标系”之间的那个固定变换 T_base2cam。有了它，后面任何相机里看到的物体坐标，乘上这个矩阵，就变成机械臂能直接执行的基座坐标。
可以把这件事类比成两个人配合：一个人拿着望远镜（相机）负责盯目标，另一个人闭着眼睛（机械臂）只管按自己地图上的坐标行动。望远镜看到目标后喊“目标在你东北方向 30 米”，这个“方向+距离”就是目标在望远镜坐标系里的坐标。但闭眼的人要行动，必须先把这句话翻译成自己地图上的坐标。两个坐标系之间怎么换算，就是需要提前标定出来的关系。手眼标定，本质上就是做一次“坐标翻译官”的校准。
数学上，一个 4x4 的齐次矩阵包含 3x3 的旋转矩阵 R 和 3x1 的平移向量 t。手眼标定的目标就是求这个 T。别看矩阵只有 4 行 4 列，里面承载的是两个物理坐标系之间的刚体变换，旋转部分有正交约束且行列式为 1，不能随便拍脑袋填。
1.2 眼在手上还是眼在手外：D435和睿尔曼的两种布局
工程上分两种典型布局，对应两套不同求解方程。
第一种叫“眼在手上”（eye-in-hand），相机装在机械臂末端法兰上，跟着机械臂一起动。此时要求的是相机在末端坐标系下的固定变换 T_gripper2cam，经典方程是 AX=XB，OpenCV 里有 calibrateHandEye 直接处理，语义比较直观。
第二种叫“眼在手外”（eye-to-hand），相机固定在工作区上方，机械臂末端装标定板，标定板跟着机械臂到处动。此时要求的是相机在基座坐标系下的固定变换 T_base2cam，方程变成 AX=ZB。我这套 D435 + 睿尔曼方案，默认就是这种布局：D435 固定在支架上，机械臂下方干活，视觉俯视抓取。这也是我个人更推荐视觉引导项目采用的方式，因为相机不动，长期运行的稳定性更好。
不过要提醒一句：如果你买的睿尔曼型号比较轻量，也可以把 D435 装在末端执行器支架上，做成眼在手上。两种方式标定代码略有区别，本文主体讲眼在手外，因为涉及的数据转换更绕，把最难的理解了，眼在手上自然就会写。
2. 开工前的准备：环境、标定板与数据采集思路
2.1 Python环境与依赖安装
先说环境。我用的是 Python 3.10，建议你用 3.8 以上版本，避免兼容问题。强烈建议用虚拟环境，不要直接装在系统 Python 里，不然后面装 OpenCV、NumPy 版本冲突的时候会很被动。
依赖就三个：pyrealsense2、opencv-python、numpy。命令行执行：
pip install pyrealsense2 opencv-python numpypyrealsense2 是 Intel 官方的 Python 库，直接驱动 D435；opencv-python 负责图像处理和标定求解；numpy 用来做矩阵运算。睿尔曼机械臂这边，不同型号的 SDK 安装方式略有差异，按官方文档装对应的 Python 包即可，一般接口风格是连接机械臂后可以实时读取末端位姿，也可以控制运动。装好之后，先写两行代码确认 import 不报错，再继续往下做。
2.2 标定板选型：为什么我推荐ChArUco
标定板是手眼标定的“尺子”。三种常见选择：棋盘格、ChArUco、AprilTag。
- 棋盘格：OpenCV 的 findChessboardCorners 非常稳定，但前提是标定板完整出现在画面里、角度不能太斜。D435 的彩色分辨率就 1280x720，稍微侧一点，边缘的行列就容易被漏检。采集数据时容易卡壳。
- ChArUco：棋盘格和 ArUco 码的结合体，即使部分被遮挡也能检测，对大角度拍摄非常友好，是我这次实际采用的方案。
- AprilTag：定位精度很高，但 OpenCV 原生支持不如 ChArUco 方便，还需要额外库。
选好类型之后，最容易被忽视的是尺寸测量。我见过有人拿普通尺子量格子边长，一量误差 0.5mm，标定结果自然误差大。一定要用游标卡尺量，精度至少到 0.1mm。打印标定板时建议用高精度打印，或者直接买玻璃/陶瓷基底的工业标定板。我自己用的是一块 A4 大小的 ChArUco 板，格子边长 25mm，打印之后用卡尺复核了一遍。
2.3 采集流程怎么设计才不容易翻车
标定数据的质量直接决定结果质量，采集流程值得先在脑子里过一遍。我要求每组数据包含两个信息：一张当时拍到的彩色图，以及同一时刻机械臂末端的位姿。两者必须对应同一个物理时刻，这是整个标定里最核心的“数据同步”问题。
实操中我是这样做的：先用示教器或代码把机械臂摆到预定的几个位姿，让标定板正对相机、覆盖画面不同位置和角度；每到一个位姿，先让机械臂完全停止，等 0.5 到 1 秒，再拍照、再读位姿、再进入下一组。绝不要在机械臂运动过程中抢拍，也不要先连拍再回来查位姿，那样图像和位姿大概率对不上，标定出来就是一笔糊涂账。
采集数量上，我建议至少 12 组，理想 15 组左右。分布要有讲究：左右、上下、远近、倾斜都要覆盖，而不是机械臂在一个小范围内微调 15 次。位姿太相似，方程组的约束不够，求解结果会来回跳。
3. 五个关键步骤完整实操
3.1 第一步：获取相机内参并完成图像对齐
D435 是一台深度相机，但手眼标定阶段，我们主要用它的彩色图像来检测标定板，所以第一步是把彩色相机内参拿出来。内参包括相机焦距 fx、fy，主点 cx、cy，和畸变系数。这些数值出厂时已经写到相机里，直接用 get_intrinsics() 读出来就可以。获取内参和对齐的代码如下：
import pyrealsense2 as rs import numpy as np import cv2 pipeline = rs.pipeline() config = rs.config() config.enable_stream(rs.stream.color, 1280, 720, rs.format.bgr8, 30) config.enable_stream(rs.stream.depth, 1280, 720, rs.format.z16, 30) profile = pipeline.start(config) color_intrinsics = profile.get_stream(rs.stream.color).as_video_stream_profile().get_intrinsics() camera_matrix = np.array([ [color_intrinsics.fx, 0, color_intrinsics.cx], [0, color_intrinsics.fy, color_intrinsics.cy], [0, 0, 1] ], dtype=np.float64) dist_coeffs = np.array(color_intrinsics.coeffs, dtype=np.float64) align = rs.align(rs.stream.color)注意两点。第一，D435 有自动曝光，改变光照后内参不会变，但图像亮度会影响检测，建议固定曝光时间或保证环境光稳定。第二，深度和彩色最好做对齐，虽然标定本身只用到彩色图，但后面抓取要用对齐后的深度图，现在就把流程跑通，后面省事。对齐之后取到的深度帧，视角就和彩色图一致了。
3.2 第二步：提取标定板在相机坐标系中的位姿
这一步要从一张彩色图得到标定板相对相机的旋转 rvec 和平移 tvec。用 ChArUco 的检测流程如下：
dictionary = cv2.aruco.getPredefinedDictionary(cv2.aruco.DICT_4X4_250) board = cv2.aruco.CharucoBoard((5, 7), 0.025, 0.018, dictionary) detector = cv2.aruco.ArucoDetector(dictionary, cv2.aruco.DetectorParameters()) gray = cv2.cvtColor(color_image, cv2.COLOR_BGR2GRAY) marker_corners, marker_ids, _ = detector.detectMarkers(gray) if marker_ids is not None and len(marker_ids) >= 4: ret, charuco_corners, charuco_ids = cv2.aruco.interpolateCornersCharuco( marker_corners, marker_ids, gray, board) ok, rvec, tvec = cv2.aruco.estimatePoseCharucoBoard( charuco_corners, charuco_ids, board, camera_matrix, dist_coeffs, None, None)这里 CharucoBoard 构造参数里的 0.025 是方格边长（米），0.018 是 marker 边长（米），必须和标定板实际尺寸一致。还有一个老生常谈的坑：不同 OpenCV 版本接口不同。OpenCV 4.7 以后用 cv2.aruco.CharucoBoard((5,7), ...)，旧版是 cv2.aruco.CharucoBoard_create(5, 7, ...)。代码报错时先确认版本。
拿到 rvec 和 tvec 后，把旋转向量转成旋转矩阵，再组成 4x4 齐次矩阵：
R, _ = cv2.Rodrigues(rvec) T_cam2board = np.eye(4) T_cam2board[:3, :3] = R T_cam2board[:3, 3] = tvec.flatten()这个 T_cam2board 表示“标定板坐标系在相机坐标系中的位姿”。注意名字里的方向，后面组装数据时很容易搞反。
实操经验：如果检测失败，最简单的排查手段是在屏幕上把检测结果画出来看。我之前遇到过一次检测率暴跌，最后发现是打印标定板表面有反光，换个角度再加一盏补光灯直接解决。还有一次是代码里写的聚方格数量和打印板不一致，导致角点插值失败。
3.3 第三步：读取机械臂末端位姿并保证数据同步
睿尔曼机械臂的 Python SDK 通常会给一个实时读取末端位姿的接口，不同型号名字可能有区别，但逻辑一致。读出来的位姿一般是位置 x、y、z，加姿态四元数或者欧拉角。我强烈建议用四元数形式，因为欧拉角在某些姿态附近会有万向锁问题，数值跳变会让标定矩阵不稳定。如果 SDK 只给欧拉角，先转四元数，再用四元数转旋转矩阵。
伪代码如下，具体方法名以你手里的 SDK 为准：
import time # 机械臂移动到某个位姿，等待完全停止 arm.move_to(target_pose) time.sleep(1) # 读取末端位姿 pose = arm.get_current_pose() # 返回位置 + 四元数 pos = [pose.x, pose.y, pose.z] quat = [pose.qx, pose.qy, pose.qz, pose.qw] # 四元数转旋转矩阵，用 scipy 更省事 from scipy.spatial.transform import Rotation as R R_matrix = R.from_quat(quat).as_matrix() T_base2gripper = np.eye(4) T_base2gripper[:3, :3] = R_matrix T_base2gripper[:3, 3] = np.array(pos)数据同步这块我踩过坑。一开始我的流程是机械臂运动过程中连续读位姿和拍照，结果标定结果每次跑都不一样。后来换成“先运动、停稳、拍照、读位姿”的顺序，问题立刻消失。原因很简单：网络指令有延迟，运动状态下读到的位姿是过去某个时刻的值，而图像是当前时刻，两者根本不是同一个状态。
在代码层面，我建议把“图片 + 位姿”作为一组数据存储，直接存成 .npz 或者字典列表，标定求解时直接读取。保存时顺手记录标定板是否检测成功，不成功的组直接丢弃。
3.4 第四步：组装数据并求解手眼矩阵
这是整个流程最绕的部分，也是网上教程最容易含糊的部分。先把数据准备好：
对每组数据，我们有两个 4x4 矩阵：
- T_base2gripper_i：SDK 读取的机械臂末端在基座坐标系下的位姿
- T_cam2board_i：solvePnP 得到的标定板在相机坐标系下的位姿
眼在手外的方程是：T_base2gripper @ T_gripper2board = T_base2cam @ T_cam2board
这里 T_gripper2board 是标定板在机械臂末端坐标系下的固定变换，T_base2cam 是相机在基座坐标系下的固定变换。两个都是未知常量，方程形式是 AX=ZB。
OpenCV 正好提供 cv2.calibrateRobotWorldHandEye 求解这个方程。它要求的输入方向比较绕：需要传入的是 R_base2gripper（基座到末端的变换的逆），而不是直接传 SDK 位姿。传参时要把 T_base2gripper 求逆变成 T_gripper2base 再给进去。完整求解代码如下：
R_base2gripper = [] t_base2gripper = [] R_world2cam = [] t_world2cam = [] for T_base2gripper_i, T_cam2board_i in dataset: T_gripper2base_i = np.linalg.inv(T_base2gripper_i) R_base2gripper.append(T_gripper2base_i[:3, :3]) t_base2gripper.append(T_gripper2base_i[:3, 3]) R_world2cam.append(T_cam2board_i[:3, :3]) t_world2cam.append(T_cam2board_i[:3, 3]) R_base2world, t_base2world, R_gripper2cam, t_gripper2cam = cv2.calibrateRobotWorldHandEye( R_world2cam, t_world2cam, R_base2gripper, t_base2gripper, method=cv2.CALIB_ROBOT_WORLD_HAND_EYE_SHM )注意输出变量名的坑：R_gripper2cam 名义上表示“从末端坐标系转到相机坐标系”，也就是 T_cam2gripper。但我们真正想要的是 T_base2cam。把它求逆，再乘上任意一组 T_base2gripper，就能得到相机在基座坐标系下的位姿：
T_cam2gripper = np.eye(4) T_cam2gripper[:3, :3] = R_gripper2cam T_cam2gripper[:3, 3] = t_gripper2cam T_gripper2cam = np.linalg.inv(T_cam2gripper) # 用第一组数据计算 T_base2cam T_base2cam = dataset[0][0] @ T_gripper2cam如果你用的是眼在手上（相机装在末端），使用 cv2.calibrateHandEye 时输入直接读到的末端位姿和标定板在相机下的位姿，输出相机在末端下的位姿，语义清晰很多。但眼在手外一定要按上面的方向来，不然标定结果就是错的，而且错的还不容易看出来。
求解方法推荐 CALIB_ROBOT_WORLD_HAND_EYE_SHM，Shah 方法在多数场景表现稳定。你也可以换 LI 或 DANIILIDIS 等方法做交叉验证。
3.5 第五步：标定结果怎么验证才叫“真的能用了”
标定完成不等于结束，验证至少要分两层。
第一层是数学验证。用标定结果把每一组数据都重投影一遍：利用求出的 T_base2cam 和 T_gripper2board，把标定板角点的物理坐标投影回图像，计算重投影误差。误差在 1 像素以内说明标定数据内部自洽，超过 2 像素就要怀疑某一组数据有问题。更简单的粗验方法：直接用 T_base2cam 把某一组 T_cam2board 转换到基座坐标系，再和机械臂实际末端位姿推算出的结果对比，偏差应该在 5mm 以内（工作距离 500mm 左右时）。
第二层是物理验证，也是我最推荐的做法。在工作区随便放一个明显物体，用相机识别出它在相机坐标系下的坐标，乘上 T_base2cam，得到基座坐标，然后控制机械臂末端去指这个位置。偏差 2-3mm 说明标定结果很好，5mm 内可以接受，超过 1cm 就回头查数据。这个测试模拟了实际抓取的全部路径，真正能反映标定结果是否可用。
我第一次做物理验证时，机械臂末端和物体差了大概 15mm。排查发现是标定板格子边长量错了，当时手边没带卡尺，用普通直尺估的 25mm，实际是 24.8mm。别看 0.2mm 的差距，放到 0.5m 工作距离上，足以让末端偏出一大截。换回实际尺寸重新标定后，误差直接压到 3mm 以内。
4. 实战中的坑与排查技巧
4.1 标定结果反复跳变
最典型的症状是：同样的数据和代码，跑了两次，输出的 T_base2cam 完全不一样。原因基本就三类。
第一，数据量太少或者位姿太相似。少于 8 组、或者机械臂只在相机正下方微调，方程约束不足，解不唯一。解决办法是扩到 12 组以上，并且刻意让标定板出现在画面左上、右上、中央、下方、远近不同深度，倾斜角度也拉开。
第二，标定板没固定牢。标定板如果只是用双面胶粘在机械臂末端，运动过程中轻微晃动，每次采集的 T_gripper2board 其实都在变，但求解时假设它是固定不变的，结果自然崩。建议用刚性支架固定标定板。
第三，机械臂末端定位误差。机械臂本身存在绝对定位误差，有的型号在远端能到 5mm 以上。这个只能通过增加数据量和分布覆盖来平均掉，没法完全消除。
4.2 solvePnP报错或者角点漏检
ChArUco 检测失败的常见原因有这么几个：
- 光照不足或过曝。D435 的 RGB 传感器在暗光下噪声大，建议补光，保证标定板表面光线均匀。
- 标定板部分离开画面。检查图像里是否完整出现至少 4 个 marker。
- 格子数量或尺寸和代码不一致。核对 board 构造参数。
- 分辨率太低导致 marker 无法识别。D435 在 1280x720 下，工作距离超过 1 米时 marker 边长小于 10 像素，识别率骤降。缩短工作距离到 0.5 米附近，或者换更大的标定板。
4.3 机械臂通讯不稳定
读取末端位姿偶发失败，一般是网络或串口延迟导致的超时。处理办法有两个：一是加重试机制，读到合理值为止；二是在代码里校验位姿是否合理，比如机械臂正常工作范围是 x 在 300-800mm，突然读到 3000mm，那这条数据直接扔掉。
另外，如果用的是欧拉角读取，注意 SDK 返回的是哪个旋转顺序（比如 ZYX 还是 XYZ），不同顺序转旋转矩阵结果完全不一样。最稳妥的做法是优先用四元数接口。
4.4 常见问题速查表
| 现象 | 可能原因 | 解决办法 |
|---|---|---|
| 标定结果每次跑都不一样 | 数据量少、位姿太相似或标定板松动 | 采集12组以上，扩大位姿覆盖，刚性固定标定板 |
| 物理验证偏差超过1cm | 标定板尺寸量错、机械臂定位误差大 | 用卡尺复核尺寸，增加有效数据 |
| solvePnP频繁失败 | 光照差、标定板不完整、marker过小 | 补光、缩小工作距离、换大标定板 |
| 图像和位姿数据对不上 | 机械臂运动过程中采集 | 先停稳、再拍照、再读位姿 |
| OpenCV标定函数报shape错误 | 输入矩阵方向反了或没有转成float64 | 按本文代码核对方向，统一用float64 |
| 相机内参数值不对 | 读到了深度流内参而不是彩色流内参 | 用profile.get_stream(rs.stream.color)取内参 |
5. 几个关键参数与我的习惯配置
5.1 标定推荐参数参考
| 项目 | 推荐值 | 说明 |
|---|---|---|
| D435分辨率 | 1280x720@30fps | 分辨率太低marker识别率差 |
| 工作距离 | 0.4-0.7m | 在这个范围内标定，抓取也在这个范围内用 |
| 采集组数 | 12-15组 | 太少约束不足，太多没必要 |
| 标定板 | ChArUco 5x7，方格25mm，marker18mm | 根据工作距离调整大小 |
| numpy数组dtype | float64 | OpenCV标定接口严格要求 |
| 方法选择 | CALIB_ROBOT_WORLD_HAND_EYE_SHM | 稳定，交叉验证也可以用其他方法 |
| 末端位姿格式 | 四元数 | 避免欧拉角万向锁问题 |
有一个点容易忽略：标定的工作距离要和实际抓取的工作距离尽量一致。D435 在 0.3 米和 1 米处的镜头畸变、深度精度都不一样，如果在 0.3 米处标定、1 米处抓取，误差会明显放大。我习惯直接在实际作业高度下标定。
5.2 标定之后能做的后续优化
标定不是终点，只是一个起点。拿到 T_base2cam 之后，视觉抓取的主流程就顺了：相机识别物体，得到物体在相机坐标系下的位姿 T_cam2obj，左乘 T_base2cam 得到基座坐标系下的位姿 T_base2obj，再送给机械臂规划抓取。
实际使用中，我还会做两件事。第一，对识别到的物体位姿做多帧滤波，用深度图的点云拟合平面，减少单点噪声的影响。第二，定期复标。相机支架一旦被撞到、标定板被更换、或者机械臂维护之后，原来的标定结果就不一定准了，重新标定一次也就十分钟，别心疼这点时间。
如果用了很长时间后感觉抓取精度下降，优先怀疑相机支架松了，而不是标定算法本身的问题。我遇到过类似情况，最后发现是固定 D435 的铝型材连接件有轻微松动，重新紧固之后精度立刻恢复。
我自己的体会是，手眼标定这个环节并不难，难的是每一步都做扎实：数据采集时不偷懒、标定板尺寸不估算、坐标方向不搞反。把这几个基本功打牢，后面视觉引导的开发就会顺很多。希望这篇能帮你少走几步我走过的弯路。
