1. 为什么需要融合KITTI双目与IMU数据
ORB-SLAM3作为当前最先进的视觉惯性SLAM系统，其视觉惯性模式在EuRoC等数据集上表现出色。但很多开发者在使用KITTI数据集时会发现，官方并未提供现成的双目+IMU适配方案。这主要是因为KITTI数据集的IMU数据与图像采集存在时间不同步、坐标系不统一等问题。
我在实际项目中遇到过这样的场景：当车辆快速转弯或遇到弱纹理区域时，纯视觉SLAM容易丢失跟踪。这时候IMU数据就能发挥关键作用——它不受光照影响，可以提供稳定的短时运动估计。但要把这两种数据用好，必须解决三个核心问题：
首先是时间对齐。KITTI的sync图像数据是10Hz，而extract的IMU数据是100Hz。这意味着每帧图像应该对应10个IMU测量值，但原始数据的时间基准并不一致。
其次是坐标系转换。KITTI提供了IMU到激光雷达、激光雷达到相机的变换矩阵，但ORB-SLAM3需要的是相机到IMU的变换（T_b_c1）。这个外参矩阵的精度直接影响融合效果。
最后是数据格式适配。KITTI的真值轨迹和图像时间戳需要转换为TUM格式才能用evo工具评估，而ORB-SLAM3的输出也需要相应调整。
2. 数据准备与预处理
2.1 数据集下载与目录结构
KITTI数据集分为odometry和raw两个部分。对于视觉惯性SLAM，我们需要：
- odometry中的gray图像（22GB）和groundtruth（06.txt）
- raw数据中的2011_09_30_drive_0020_extract（100Hz IMU）
建议按以下结构组织数据：
Dataset/KITTI/ ├── kitti-odometry/ │ └── data_odometry_gray/ │ └── sequences/ │ └── 06/ # 包含image_0, image_1, times.txt等 └── kitti-raw/ └── Residential/ └── 2011_09_30/ └── 2011_09_30_drive_0020_extract/ └── oxts/ # 包含IMU数据2.2 时间戳对齐实战
这是最关键的预处理步骤。我们需要将extract的IMU时间戳转换到与odometry图像相同的时间基准。具体操作：
- 从sync数据中记录第一帧图像的时间（如'2011-09-30 12:08:26.403042304'）
- 用MATLAB处理extract的oxts/timestamps.txt：
timestampsextract = readtable('timestamps.txt', 'Format','yyyy-MM-dd HH:mm:ss.SSSSSSSSS'); t1 = posixtime(timestampsextract.Var1); t2 = posixtime(datetime('2011-09-30 12:08:26.403042304')); extract_vec = t1 - t2; writematrix(extract_vec, 'times_imu100hz_06.txt');- 检查生成的times_imu100hz_06.txt，确保没有负值（如有则置零）
3. ORB-SLAM3工程配置
3.1 创建stereo_inertial_kitti.cc
基于stereo_inertial_euroc.cc新建适配文件，主要修改：
- 图像读取方式改为KITTI的png序列
- IMU数据加载适配KITTI的文本格式
- 将轨迹保存函数改为SaveTrajectoryTUM
关键代码段：
// 加载图像 vector<string> vstrImageLeft = LoadImages(string(argv[3])+"/image_0", vTimestampsCam); vector<string> vstrImageRight = LoadImages(string(argv[3])+"/image_1", vTimestampsCam); // 加载IMU数据 vector<double> vTimestampsImu; vector<cv::Point3f> vAcc, vGyro; LoadIMU(argv[4], argv[5], vTimestampsImu, vAcc, vGyro);3.2 外参矩阵计算
KITTI提供了IMU到激光(Tvi)和激光到相机(Tcv)的变换，我们需要计算相机到IMU的变换(Tic)：
- 从calib_cam_to_pose.txt获取Tcv
- 从calib_imu_to_velo.txt获取Tvi
- 通过矩阵连乘得到Tic = inv(Tcv * Tvi)
MATLAB计算示例：
Tvi = [Rvi, tvi; 0 0 0 1]; Tcv = [Rcv, tcv; 0 0 0 1]; Tic = inv(Tcv * Tvi);将结果写入KITTI04-12.yaml：
IMU.T_b_c1: !!opencv-matrix rows: 4 cols: 4 dt: f data: [ 0.0078, -0.0042, 0.9999, 1.1438, -0.9998, -0.0148, 0.0077, -0.3127, 0.0148, -0.9998, -0.0043, 0.7265, 0.0, 0.0, 0.0, 1.0 ]4. 运行与参数调优
4.1 编译与运行命令
先重新编译：
./build.sh视觉惯性模式运行：
./Examples/Stereo-Inertial/stereo_inertial_kitti \ ./Vocabulary/ORBvoc.txt \ ./Examples/Stereo-Inertial/KITTI04-12.yaml \ /path/to/sequences/06 \ /path/to/oxts/data \ /path/to/times_imu100hz_06.txt纯视觉模式对比：
./Examples/Stereo/stereo_kitti \ ./Vocabulary/ORBvoc.txt \ ./Examples/Stereo/KITTI04-12.yaml \ /path/to/sequences/064.2 关键参数调整经验
根据实测，这些参数对KITTI效果影响较大：
- IMU噪声参数：KITTI的IMU质量较好，可以适当降低噪声值
IMU.NoiseGyro: 1.7e-4 # 角速度噪声 IMU.NoiseAcc: 2.0e-3 # 加速度噪声 - 关键帧插入策略：城市场景可提高关键帧阈值
Camera.fps: 10 ORBextractor.nFeatures: 2000 - 回环检测：KITTI序列较长，建议开启全部回环检测功能
5. 轨迹评估与结果分析
5.1 真值格式转换
将KITTI真值转换为TUM格式：
python3 kitti_poses_and_timestamps_to_trajectory.py \ 06.txt times.txt kitti_06_tum.txt5.2 evo评估命令
比较纯视觉(V)和视觉惯性(VI)轨迹：
evo_traj tum --ref=kitti_06_tum.txt \ traj_kitti_v_tum.txt traj_kitti_vi_tum.txt \ -p --plot_mode=xz -a5.3 典型结果分析
从多次实验来看：
- 直线路段：VI比V提升约15%的精度，IMU有效抑制了纯视觉的尺度漂移
- 转弯场景：VI有时会出现"过冲"现象，需要调整IMU权重参数
- 回环检测：VI的回环接受率比V低约10%，可能与IMU引入的累积误差有关
建议在urban序列(00-10)上测试时，可以适当降低IMU在优化中的权重，而在highway序列上则可以增加IMU权重。
