保姆级教程：用D435i录制ROSbag数据集，一步步转成BundleFusion能吃的.sens格式

从ROSbag到BundleFusion：D435i数据集转换全流程实战指南

当你手握Intel RealSense D435i采集的ROSbag数据，却苦于无法直接喂给BundleFusion进行三维重建时，这篇文章将成为你的救星。我们将彻底拆解从原始数据到.sens格式的完整转换链条，特别针对时间戳同步、参数配置等关键环节提供避坑指南。无论你是SLAM初学者还是需要快速验证算法的研究者，这套经过实战检验的流程都能让你少走弯路。

1. 环境准备与工具链搭建

1.1 硬件与软件基础配置

核心工具清单：

• Intel RealSense D435i：支持RGB-D和IMU数据同步采集
• ROS Melodic（Ubuntu 18.04）或ROS Noetic（Ubuntu 20.04）
• Python 3.6+：用于脚本处理
• BundleFusion官方代码库：需提前编译通过

注意：BundleFusion对CUDA有硬性要求，建议使用CUDA 10.1配合NVIDIA驱动450+

1.2 关键脚本获取

需要提前准备两个核心脚本：

1. ROSbag解析脚本：提取深度图与彩色图
2. associate.py：时间戳对齐工具（可从TUM数据集工具包获取）

# 示例：下载TUM工具包 wget https://svncvpr.in.tum.de/cvpr-ros-pkg/trunk/rgbd_benchmark/rgbd_benchmark_tools/src/rgbd_benchmark_tools/associate.py

2. ROSbag深度解析与数据提取

2.1 解析bag文件结构

首先需要确认bag文件包含的topic信息：

rosbag info your_data.bag

典型D435i输出包含：

• /device_0/sensor_0/Depth_0/image/data：深度图
• /device_0/sensor_1/Color_0/image/data：彩色图
• /device_0/sensor_0/IMU_0/data：IMU数据（本场景不需要）

2.2 图像提取实战代码

使用Python脚本提取图像时，要特别注意时间戳精度和图像编码格式：

import rosbag from cv_bridge import CvBridge import cv2 import os bag = rosbag.Bag('input.bag') bridge = CvBridge() rgb_dir = 'rgb/' depth_dir = 'depth/' os.makedirs(rgb_dir, exist_ok=True) os.makedirs(depth_dir, exist_ok=True) with open('rgb.txt','w') as rgb_file, open('depth.txt','w') as depth_file: for topic, msg, t in bag.read_messages(): if topic == "/device_0/sensor_1/Color_0/image/data": cv_img = bridge.imgmsg_to_cv2(msg, "bgr8") timestamp = "%.6f" % msg.header.stamp.to_sec() cv2.imwrite(f"{rgb_dir}{timestamp}.jpg", cv_img) rgb_file.write(f"{timestamp} {rgb_dir}{timestamp}.jpg\n") if topic == "/device_0/sensor_0/Depth_0/image/data": cv_img = bridge.imgmsg_to_cv2(msg) timestamp = "%.6f" % msg.header.stamp.to_sec() cv2.imwrite(f"{depth_dir}{timestamp}.png", cv_img) depth_file.write(f"{timestamp} {depth_dir}{timestamp}.png\n")

3. 时间戳对齐与数据配对

3.1 时间漂移问题分析

D435i的RGB和Depth传感器物理位置不同，导致采集时间存在微秒级差异。通过统计分析时间戳差值分布，可以确定最佳匹配阈值：

import numpy as np # 加载时间戳数据 rgb_stamps = np.loadtxt('rgb.txt')[:,0] depth_stamps = np.loadtxt('depth.txt')[:,0] # 计算最小时间差 min_delta = np.min(np.abs(rgb_stamps[:,None] - depth_stamps)) print(f"最小时间差：{min_delta:.6f}s")

3.2 关联脚本参数优化

associate.py的关键参数需要根据实际数据调整：

python associate.py depth.txt rgb.txt --max_difference 0.03 > associated.txt

参数经验值：

• 静态场景：0.01-0.02s
• 动态采集：0.03-0.05s
• 高速运动：需结合IMU数据补偿

4. BundleFusion输入格式构建

4.1 文件结构规范

BundleFusion要求的源格式必须包含以下要素：

sequence/ ├── frame-000000.color.jpg ├── frame-000000.depth.png ├── frame-000000.pose.txt ├── ... └── info.txt

4.2 info.txt关键参数详解

相机内参需要根据D435i实际标定结果填写：

m_colorWidth = 640 m_colorHeight = 480 m_depthWidth = 640 m_depthHeight = 480 m_depthShift = 1000 # 深度值缩放因子 m_calibrationColorIntrinsic = 582.871 0 320 0 0 582.871 240 0 0 0 1 0 0 0 0 1

提示：可使用Intel RealSense SDK的rs-enumerate-devices -c获取精确内参

4.3 自动化格式转换脚本

以下Python代码实现从关联文件到标准格式的批量转换：

import shutil import numpy as np with open('associated.txt') as f: lines = f.readlines() output_dir = 'sequence/' os.makedirs(output_dir, exist_ok=True) for i, line in enumerate(lines): parts = line.strip().split() rgb_src = parts[1] depth_src = parts[3] # 统一命名格式 frame_id = f"frame-{i:06d}" shutil.copy(rgb_src, f"{output_dir}{frame_id}.color.jpg") shutil.copy(depth_src, f"{output_dir}{frame_id}.depth.png") # 生成默认位姿文件 with open(f"{output_dir}{frame_id}.pose.txt", 'w') as pose_file: pose_file.write("1 0 0 0\n0 1 0 0\n0 0 1 0\n0 0 0 1")

5. 生成.sens文件与质量验证

5.1 BundleFusion代码改造

修改sensorData.h中的图像加载逻辑，确保兼容我们的命名格式：

// 修改约812行处 m_depthCompression = CompressionType::PNG; m_colorCompression = CompressionType::JPEG;

5.2 封装命令与参数调整

推荐使用以下参数生成.sens文件：

./SensorDataTool sequence/ output.sens --depth_png --color_jpg

常见错误排查：

1. 图像尺寸不匹配：检查info.txt中的宽高设置
2. 时间戳错乱：确认associated.txt中的时间差分布
3. 深度值异常：调整m_depthShift参数（通常1000或10000）

6. 高级技巧与性能优化

6.1 数据采集最佳实践

运动轨迹设计原则：

• 保持相机匀速移动（0.2-0.5m/s）
• 采用"蛇形"路径覆盖目标区域
• 对重点区域进行多角度环绕

6.2 参数调优指南

关键重建参数对照表：

参数文件	关键参数	推荐值	作用
zParametersDefault.txt	voxelSize	0.01	体素分辨率
maxDepth	3.0	最大有效深度
zParametersBundling.txt	numLocal	5	局部优化帧数
maxFrames	10000	最大处理帧数

6.3 质量评估指标

使用CloudCompare工具进行重建质量分析：

1. 完整性：扫描区域覆盖率
2. 精确度：与标定板的偏差测量
3. 平滑度：表面曲率分布

# 安装CloudCompare sudo apt install cloudcompare

7. 典型问题解决方案库

7.1 时间戳同步失败

现象：associate.txt生成结果为空
解决方案：

1. 检查原始时间戳范围是否重叠
2. 逐步增大--max_difference参数值
3. 使用插值法补偿时间差

7.2 深度图异常值处理

添加预处理滤波步骤：

import cv2 def filter_depth(depth_img): # 去除0值（无效测量） depth_img[depth_img == 0] = np.median(depth_img[depth_img > 0]) # 中值滤波去噪 return cv2.medianBlur(depth_img, 5)

7.3 重建出现断层

可能原因：

• 运动过快导致帧间匹配失败
• 场景缺乏纹理特征
• 深度图存在大面积噪声

应对策略：

1. 降低采集速度
2. 添加人工标记点
3. 启用BundleFusion的loop closure功能