134、实时感知系统设计：多传感器同步与实时推理
从一次机械臂抓取失败说起
上周调试一台UR5e，装了两个RealSense D435i加一个IMU，机械臂在快接近目标时突然抖了一下，抓了个空。查了半天，不是控制算法的问题——是视觉给的位姿比实际晚了80毫秒。传感器各自为政，时间戳对不上，融合出来的位姿自然就是“过去”的位姿。这问题在仿真里根本不会出现，因为仿真里所有数据都是同步的。真机一上，多传感器同步就成了第一道坎。
传感器时间戳：别信硬件自带的时间
很多传感器驱动里会给你一个timestamp字段，看着挺像回事，但你要搞清楚这个时间是从哪来的。D435i的RGB和深度帧时间戳来自相机内部时钟，IMU的时间戳来自另一颗芯片的时钟，两个时钟的漂移率不一样，跑几分钟就差了十几毫秒。你拿这两个时间戳去做融合，等于拿两把不准的尺子量同一个物体。
我的做法是：所有传感器数据进系统后，统一打上主机系统时间（用clock_gettime(CLOCK_MONOTONIC)），并且记录“传感器时间戳”和“主机接收时间”两个值。后面做同步时，优先用主机接收时间，传感器时间戳只用来做帧内插值。
// 这里踩过坑：直接用传感器时间戳做同步，结果数据全乱了struct
