ROS 2 官方感知栈（ros-perception）是机器人感知模块的核心工具集，主要处理图像、点云、视觉消息、OpenCV 桥接等基础能力。以下按消息接口、图像处理、点云处理、OpenCV 桥接、通用工具、SLAM / 定位辅助分类，给出常用自带功能包的目录与功能概述。
一、消息接口包（感知数据标准）
1. sensor_msgs（输入）
- 仓库：
common_interfaces/sensor_msgs - 核心功能：定义所有传感器的标准消息类型，是感知系统的“数据协议”：
Image、CompressedImage：图像数据CameraInfo：相机内参、畸变系数PointCloud2、LaserScan：点云、2D 激光数据Imu、NavSatFix、Range、BatteryState等- 提供编码、点云迭代、字段转换工具（
image_encodings.hpp、point_cloud2_iterator.hpp）
2. vision_msgs（输出）
- 仓库：
ros-perception/vision_msgs - 核心功能：计算机视觉专用标准消息，统一检测、识别、追踪接口：
Detection2D/Detection3D：2D/3D 检测框 + 类别 + 置信度BoundingBox2D/BoundingBox3D：框定义ObjectHypothesis：类别 + 置信度- 用于在检测节点、追踪、融合之间标准化数据
二、图像处理栈（image_pipeline）
1. image_pipeline（元包）
- 仓库：
ros-perception/image_pipeline - 包含子包：
camera_calibration、image_proc、depth_image_proc、image_publisher、image_view - 定位：相机图像从采集→校正→深度处理→可视化的完整流水线
2. camera_calibration
- 功能：棋盘格相机标定工具（单目 / 双目），输出内参、畸变系数、外参，生成
camera_info话题。
3. image_proc
- 功能：单目图像预处理：
- 畸变校正（
Rectify） - 去拜耳（Debayer）、灰度化、直方图均衡
- 图像缩放、裁剪、旋转
- 输入：
Image+CameraInfo→ 输出：校正后Image
- 畸变校正（
4. depth_image_proc
- 功能：深度图 / 点云处理（深度相机专用）：
- 深度图 → 3D 点云（
PointCloud2） - 深度 + 彩色图 → 彩色点云
- 深度图去噪、空洞填充、注册（对齐彩色图）
- 深度图 → 3D 点云（
5. image_view
- 功能：简单图像可视化节点，显示
Image话题，支持保存截图、帧率显示。
6. image_publisher
- 功能：从本地图片 / 视频文件发布
Image话题，用于离线测试、数据集回放。
三、点云处理（PCL 桥接）
1. pcl_ros
- 仓库：
ros-perception/perception_pcl/pcl_ros - 核心功能：ROS 2 ↔ PCL（Point Cloud Library）双向桥接，是 3D 感知基础：
- 消息转换：
sensor_msgs/PointCloud2↔pcl::PointCloud<T> - 封装常用 PCL 滤波 / 分割 / 配准算法为 ROS 节点：
- 体素滤波（VoxelGrid）、直通滤波（PassThrough）
- 统计离群点移除、半径滤波
- 平面分割、欧式聚类
- ICP 配准、NDT 配准
- 提供 launch 与参数配置文件
- 消息转换：
2. point_cloud_transport
- 仓库：
ros-perception/point_cloud_transport - 功能：点云压缩传输插件（类似
image_transport）：- 支持压缩 / 解压缩，降低网络带宽占用
- 可扩展不同压缩算法（如
draco）
3. pointcloud_to_laserscan
- 仓库：
ros-perception/pointcloud_to_laserscan - 功能：将 3D 点云（如 Velodyne/RealSense）投影为 2D
LaserScan：- 设定高度范围，提取水平切片
- 用于 2D SLAM、导航避障（兼容只支持 LaserScan 的算法）
四、OpenCV 桥接与视觉工具
1. vision_opencv
- 仓库：
ros-perception/vision_opencv - 包含子包：
cv_bridge、image_geometry
cv_bridge
- 功能：ROS
Image↔ OpenCVcv::Mat双向转换：- 编码自动映射（BGR8、RGB8、MONO8、16UC1 等）
- 颜色空间转换、深度图缩放
- 解决 ROS 与 OpenCV 内存布局、编码差异
image_geometry
- 功能：基于相机模型的几何计算：
- 像素 ↔ 3D 射线逆投影
- 双目视差 → 深度
- 图像校正、重投影模型
2. opencv_apps
- 仓库：
ros-perception/opencv_apps - 功能：封装常用 OpenCV 算法为可直接运行的 ROS 节点：
- 角点检测（Harris、Shi-Tomasi）
- 边缘检测（Canny）
- 轮廓提取、霍夫线 / 圆检测
- 光流（Lucas-Kanade）、背景减法（MOG2）
- 人脸检测（Haar、LBPH）
五、通用感知工具
1. image_common
- 仓库：
ros-perception/image_common - 包含子包：
image_transport、camera_info_manager
image_transport
- 功能：图像传输插件框架：
- 支持原始、压缩（JPEG/PNG）、H.264 等传输格式
- 动态选择编码，自动协商
- 发布 / 订阅透明切换
camera_info_manager
- 功能：相机标定文件（
.yaml）加载 / 保存 / 管理：- 从文件 / URL 加载
CameraInfo - 运行时更新标定参数
- 从文件 / URL 加载
2. message_filters
- 仓库：
ros2/message_filters - 功能：多传感器消息时间同步工具（感知融合必备）：
- 同步策略：ExactTime（严格时间戳）、ApproximateTime（近似）
- 支持链：Camera+LiDAR+IMU 同步
- 缓存、时序排序、回调触发
六、SLAM 与定位相关（感知→定位）
1. slam_toolbox
- 仓库：
SteveMacenski/slam_toolbox - 功能：2D 激光 SLAM（主流）：
- 实时建图、定位、地图保存 / 加载
- 支持在线 / 离线、异步 / 同步模式
- 与 Nav2 深度集成
2. robot_localization
- 仓库：
cra-ros-pkg/robot_localization - 功能：多传感器姿态融合（EKF/UKF）：
- 融合 Odometry、IMU、GPS、视觉里程计
- 输出连续、平滑的
/odometry/filtered - 用于高精度定位与漂移抑制
3. laser_filters
- 功能：2D 激光数据滤波：
- 阴影过滤、角度屏蔽、距离裁剪
- 降低导航与 SLAM 噪声
七、MoveIt! 感知（机械臂感知）
moveit_ros_perception
- 仓库：
moveit/moveit_ros_perception - 功能：机械臂 3D 感知与环境建模：
- 点云 → 占据网格（Occupancy Map）
- 3D 物体检测、分割、姿态估计
- 与 MoveIt! 规划场景集成，避障
八、常用安装命令（Humble/Iron/Jazzy）
bash
运行
# 核心感知栈 sudo apt install ros-$ROS_DISTRO-ros-perception sudo apt install ros-$ROS_DISTRO-image-pipeline sudo apt install ros-$ROS_DISTRO-perception-pcl sudo apt install ros-$ROS_DISTRO-vision-opencv sudo apt install ros-$ROS_DISTRO-message-filters # SLAM/定位 sudo apt install ros-$ROS_DISTRO-slam-toolbox sudo apt install ros-$ROS_DISTRO-robot-localization # MoveIt 感知 sudo apt install ros-$ROS_DISTRO-moveit-ros-perception九、典型感知数据流（总结）
- 传感器驱动→
sensor_msgs/Image/PointCloud2/LaserScan - 预处理：
- 图像：
camera_calibration→image_proc（校正） - 点云：
pcl_ros（滤波 / 降采样）
- 图像：
- 同步：
message_filters（多传感器时间对齐） - 视觉 / 3D 算法：
opencv_apps/pcl_ros（检测 / 分割 / 配准） - 融合 / 定位：
robot_localization/slam_toolbox - 高层输出：
vision_msgs（检测结果）、nav_msgs/Odometry
