从零玩转nuScenes数据集：Python实战指南
第一次打开nuScenes数据集时，你可能和我当初一样感到无从下手——几十GB的传感器数据、复杂的目录结构、抽象的JSON元数据，还有那让人望而生畏的坐标系转换。但别担心，这篇教程将用最直白的语言和可运行的代码，带你快速掌握这个自动驾驶领域的重要数据集。
1. 环境准备与数据获取
在开始之前，我们需要准备好Python环境和数据集。建议使用conda创建一个独立环境：
conda create -n nuscenes python=3.8 conda activate nuscenes pip install nuscenes-devkit matplotlib opencv-pythonnuScenes数据集提供三个版本：
| 版本 | 场景数 | 主要用途 | 下载大小 |
|---|---|---|---|
| Mini | 10 | 快速验证 | ~8GB |
| Trainval | 850 | 模型训练 | ~300GB |
| Test | 150 | 最终测试 | ~150GB |
提示：初次接触建议从Mini版开始，完整训练集下载需要确保有足够磁盘空间
下载后解压，目录结构应该如下：
nuscenes/ ├── maps # 高清地图 ├── samples # 带标注的关键帧 ├── sweeps # 中间帧数据 └── v1.0-mini # 元数据(JSON文件)2. 初识数据集结构
让我们先了解nuScenes如何组织数据。这个数据集采用关系型结构管理，核心概念有三个层级：
- Scene：约20秒的连续驾驶片段
- Sample：关键帧时刻（每0.5秒一个）
- Sample Data：具体传感器数据（图像、点云等）
用下面代码快速查看数据集概况：
from nuscenes import NuScenes nusc = NuScenes(version='v1.0-mini', dataroot='/path/to/nuscenes', verbose=True) print(f"数据集包含 {len(nusc.scene)} 个场景") print(f"首个场景描述: {nusc.scene[0]['description']}") print(f"该场景有 {len(nusc.sample)} 个样本")3. 数据加载实战
3.1 加载传感器数据
获取特定样本的所有传感器数据：
sample = nusc.sample[10] # 取第10个样本 # 打印可用的传感器数据 for sensor_type in ['CAM_FRONT', 'LIDAR_TOP']: sample_data = nusc.get('sample_data', sample['data'][sensor_type]) print(f"{sensor_type} 数据路径: {sample_data['filename']}")3.2 可视化相机图像
import cv2 from matplotlib import pyplot as plt def show_camera_image(nusc, sample, camera_name='CAM_FRONT'): sample_data = nusc.get('sample_data', sample['data'][camera_name]) img_path = f"{nusc.dataroot}/{sample_data['filename']}" img = cv2.cvtColor(cv2.imread(img_path), cv2.COLOR_BGR2RGB) plt.figure(figsize=(12, 6)) plt.imshow(img) plt.axis('off') plt.title(f"{camera_name} View") plt.show() show_camera_image(nusc, sample)4. 3D标注可视化
nuScenes最强大的功能之一是能将3D标注投影到各传感器视图。让我们创建一个点云和图像的融合可视化：
from nuscenes.utils.data_classes import LidarPointCloud from nuscenes.utils.geometry_utils import view_points def visualize_lidar_with_boxes(nusc, sample): # 获取LIDAR数据 lidar_data = nusc.get('sample_data', sample['data']['LIDAR_TOP']) pc = LidarPointCloud.from_file(f"{nusc.dataroot}/{lidar_data['filename']}") # 获取图像数据 cam_data = nusc.get('sample_data', sample['data']['CAM_FRONT']) img = cv2.cvtColor(cv2.imread(f"{nusc.dataroot}/{cam_data['filename']}"), cv2.COLOR_BGR2RGB) # 将点云投影到图像 points = view_points(pc.points[:3, :], nusc.get('calibrated_sensor', cam_data['calibrated_sensor_token'])['camera_intrinsic'], normalize=True) # 创建画布 plt.figure(figsize=(18, 8)) plt.subplot(121) plt.imshow(img) plt.scatter(points[0, :], points[1, :], c=pc.points[2, :], s=5, cmap='viridis') plt.title("LiDAR Points on Image") # 添加3D标注框 for ann_token in sample['anns']: ann = nusc.get('sample_annotation', ann_token) nusc.render_annotation(ann, margin=10, view=np.eye(4)) plt.subplot(122) nusc.render_sample_data(lidar_data['token']) plt.title("3D LiDAR View with Boxes") plt.tight_layout() plt.show() visualize_lidar_with_boxes(nusc, sample)5. 高级技巧与性能优化
5.1 批量数据处理
处理完整数据集时，需要优化内存使用：
from tqdm import tqdm def process_scene(nusc, scene): sample = nusc.get('sample', scene['first_sample_token']) while True: # 处理当前样本 process_sample(nusc, sample) if not sample['next']: break sample = nusc.get('sample', sample['next']) # 多场景并行处理 from multiprocessing import Pool with Pool(4) as p: list(tqdm(p.imap(process_scene, nusc.scene), total=len(nusc.scene)))5.2 自定义数据增强
在模型训练前，通常需要增强数据。这是一个简单的点云增强示例：
import numpy as np from scipy.spatial.transform import Rotation def augment_point_cloud(points, max_rotation=15, max_translation=0.5): # 随机旋转 rotation = Rotation.from_euler('z', np.random.uniform(-max_rotation, max_rotation), degrees=True) points[:3, :] = rotation.apply(points[:3, :].T).T # 随机平移 points[:3, :] += np.random.uniform(-max_translation, max_translation, size=(3, 1)) return points # 应用增强 pc = LidarPointCloud.from_file(lidar_path) augmented_pc = augment_point_cloud(pc.points.copy())6. 实际应用案例
让我们实现一个简单的目标统计功能，分析数据集中不同类别的分布：
from collections import defaultdict def analyze_annotations(nusc): category_stats = defaultdict(int) attribute_stats = defaultdict(int) for scene in nusc.scene: sample = nusc.get('sample', scene['first_sample_token']) while True: for ann_token in sample['anns']: ann = nusc.get('sample_annotation', ann_token) category_stats[ann['category_name']] += 1 for attribute_token in ann['attribute_tokens']: attribute = nusc.get('attribute', attribute_token) attribute_stats[attribute['name']] += 1 if not sample['next']: break sample = nusc.get('sample', sample['next']) return category_stats, attribute_stats categories, attributes = analyze_annotations(nusc) print("最常见的目标类别:") for cat, count in sorted(categories.items(), key=lambda x: -x[1])[:5]: print(f"{cat}: {count}次") print("\n最常见的属性:") for attr, count in sorted(attributes.items(), key=lambda x: -x[1])[:3]: print(f"{attr}: {count}次")这个分析能帮助你理解数据集的偏重，在设计模型时给予不同类别适当的注意力。
