LLM_端到端自动驾驶

EAI：Embodied Artificial Intelligent，E2E：End to End，LLM：Large Language Mode

端到端自动驾驶专题：多模态输入融合、开源框架、头部企业与性能对比

核心定义：端到端自动驾驶分为两类

1. 纯端到端（狭义 E2E）：原始传感器数据输入 → 单个大模型 → 直接输出方向盘转角、油门、刹车控制量；无显式独立感知 / 预测 / 规划子模块，全局损失联合优化（代表：特斯拉 FSD V12+）
2. 半端到端（广义 E2E，行业量产主流）：保留底层定位、车辆动力学接口，感知 - 预测 - 规划合并为统一大模型，输出轨迹，再交给独立控制器执行；保留中间特征输出用于安全监控、故障诊断（华为乾崑 ADS、小鹏 XNGP）

传统流水线：图像→检测→跟踪→预测→规划→控制；每个模块单独训练，误差逐级累积，模块之间人工设计特征接口。

一、各类传感器 / 车体数据，在端到端架构下如何融合（图像 / 超声波 / 惯导 / GNSS / 轮速计 / 车体参数）

前置必要条件：时间同步 + 空间标定（外参 / 内参）。所有传感器统一到同一时间基准（GNSS PPS 脉冲），统一到自车坐标系；没有标定 + 时间对齐，多模态融合完全失效。
融合分 3 种范式：数据层融合、特征层融合（端到端主流）、决策层融合（传统流水线）；端到端模型几乎全部采用特征层融合：各自模态提取特征后，在 BEV / 统一隐空间用 Cross-Attention 做模态融合，而不是先单独识别物体再合并结果。

1. 图像（多目相机，前 / 侧 / 环视）

• 原始输入：多帧 RGB 图像流；做去畸变、ISP、时序缓存（历史帧）
• 特征提取：图像 Backbone 提取 2D 视觉特征，投影到 BEV 鸟瞰空间
• 在端到端模型里：视觉特征作为环境语义主体（车道、行人、车辆、红绿灯、可行驶区域）
• 时序信息：连续多帧图像输入，捕捉目标速度、运动趋势

2. 超声波雷达（近场，0~5m）

• 原始数据：距离回波，低帧率，仅近距离测距；泊车、窄路、近距离障碍物
• 处理方式：不直接送入大模型原始回波；转为 BEV 空间内占用栅格特征（有无障碍物），作为辅助模态特征输入
• 特点：远距离失效；强光 / 黑夜不受影响；主要补充低速泊车场景，权重低，属于弱模态

3. IMU 惯导（加速度 + 陀螺仪）

• 原始数据：三轴加速度、三轴角速度，高频（100~200Hz）
• 作用：提供自车运动状态，航位推算（Dead Reckoning）；隧道 / 地下车库 GNSS 丢失时维持定位
• 融合方式：
  1. 底层：和 GNSS、轮速计做卡尔曼滤波，输出自车 pose（位姿）
  2. 送入端到端模型：把自车姿态、角速度、加速度编码成一维向量，作为自车状态 token，和图像 BEV 特征做跨模态注意力融合；模型理解 “我这辆车当前怎么动”

4. 卫星定位 GNSS（GPS / 北斗 + RTK）

• 原始数据：经纬度、高度、定位协方差（定位置信度）
• 局限：高楼、隧道、林荫道会丢星，定位漂移
• 融合方式：
  • 底层：GNSS+IMU 紧耦合定位，输出全局坐标系下自车位置；
  • 模型输入：编码全局位置 + 定位可信度；在无图端到端方案中用于路网上下文匹配；有图方案用于匹配 HDMap。
  • 模型会学习自动降低定位置信度低时 GNSS 特征权重。

5. 轮速计（轮速编码器）

• 原始数据：四个车轮转速、轮脉冲；计算自车纵向速度、滑移
• 融合：和 IMU/GNSS 一起进入定位滤波器，修正 IMU 漂移；车辆速度编码作为自车状态特征输入端到端模型；判断车辆是否静止、打滑。

6. 车体参数（方向盘转角、刹车踏板、档位、车速、轮胎胎压、车辆动力学参数）

• 属于Ego-state 自车状态输入，不是环境感知传感器
• 数据形式：标量时序向量（当前转向角、转向速率、油门 / 刹车状态、车辆轴距、质心位置等）
• 融合方式：
  编码成一组自车状态 token，和 BEV 环境特征拼接 / 交叉注意力；让模型知道车辆本身动力学约束（最大转向角、刹车距离），输出符合车辆物理极限的轨迹，不会输出车辆无法执行的动作。

完整端到端多模态融合链路（半端到端最典型）
原始图像 + 超声回波 → 各自编码 → BEV 空间视觉 / 占用特征
IMU/GNSS/ 轮速计 → 定位模块输出自车 pose
车体动力学参数 → ego 状态编码
多模态特征在 BEV 统一特征空间，用 Transformer Cross-Attention 融合→ 世界状态预测 + 轨迹规划头 → 输出目标轨迹 → 车辆控制器执行转向、油门、刹车

纯视觉端到端（特斯拉 FSD）：不依赖激光雷达，也不把 GNSS/IMU 直接作为环境感知输入；IMU / 轮速计仅底层用于定位，模型主体输入只有多相机图像，自车动力学作为约束。

二、端到端自动驾驶开源框架 / 开源模型

注意：不存在开箱即用、直接上车的工业级纯端到端开源模型；开源项目大多是研究平台、仿真栈、基础模型。

1. Autoware（Autoware Universe，主推 Autoware E2E）
   • 定位：最经典开源全栈自驾平台，2025 推出 Autoware E2E 版本，原生支持端到端学习范式
   • 输入：相机、激光雷达、毫米波雷达、IMU、GNSS、轮速、车体状态；支持 BEV 特征融合
   • 特点：基于 ROS2；同时支持传统流水线 + 端到端模型；自带标定、定位、仿真、车辆接口；适合学术与原型开发；可接入 CARLA 仿真。
   • 缺点：原生 E2E 模型不是预训练好的大模型，需要自己采集数据、训练；工程部署难度高，算力需求大。
2. Apollo（百度开源）
   • 定位：百度开源自动驾驶栈；早期是模块化流水线，新版本增加 BEV / 端到端模型接入能力
   • 多传感器：支持相机、激光雷达、IMU、GNSS、超声波、轮速计
   • 特点：配套仿真、数据标注工具链；偏向有图方案；没有内置开源端到端大模型，只是提供接入端到端模型的软件底座。
3. OpenEMMA
   • 论文开源复现模型，模仿 EMMA 架构，纯研究型端到端 VLA 多模态模型，输入多相机图像 + 自车状态，输出驾驶轨迹，支持思维链推理，增强可解释性
   • 局限：仅算法代码，无整车中间件，无法直接上车，适合学术研究。
4. NVIDIA Alpamayo（Alpamayo 系列模型 + AlpaSim 仿真）
   • NVIDIA 面向 Robotaxi 开放的 VLA 端到端模型套件，属于商业友好开源，不是完全 MIT 开源；支持多相机、导航、自车状态输入，输出轨迹 + 因果推理链，自带 Cosmos 世界模型仿真工具链
   • 配套 DeepStream、TensorRT 用于模型部署；Hyperion 硬件平台适配。
5. CARLA（仿真器）
   不是算法框架，但是端到端训练最重要的开源仿真环境；可接入 Autoware、自定义 E2E 模型，生成多传感器仿真数据（相机、超声、IMU、GNSS、轮速计）做闭环训练。
6. BEVFusion / BEVFormer（开源感知基础模型）
   属于半端到端的感知底座，实现相机 + 雷达 / 激光雷达 BEV 特征融合；感知输出特征送入后续规划头；不是完整端到端（不能直接输出控制指令），国内车企大量基于 BEVFormer/BEVFusion 做自研底座。

三、头部企业端到端方案、技术路线与性能优劣

1. 特斯拉 Tesla FSD V12/V14（狭义纯端到端标杆）

• 输入：8 个摄像头，无激光雷达；IMU、GNSS、轮速计仅底层定位，不直接作为环境模态输入模型；车体动力学作为控制约束
• 架构：去掉显式感知、预测、规划独立代码；单一神经网络，图像输入直接输出转向 / 油门 / 刹车控制量；无高精地图（无图方案）
  优势

1. 海量车队数据，长尾场景迭代速度快；无保护左转、环岛等人类式交互行为表现强
2. 架构极简，模块间信息零损失；不依赖高精地图，覆盖范围扩张成本低
3. 端到端模型学习车辆动力学，轨迹更自然，贴近人类驾驶
   劣势
4. 纯视觉依赖光照：暴雨、浓雾、逆光、夜间极端场景稳定性下降；没有激光雷达三维测距冗余
5. 黑箱问题最严重：故障溯源、安全认证、可解释性是最大障碍，L3/L4 合规难度极高
6. 定位依赖视觉，隧道、长林荫道定位容易漂移；超声波仅用于泊车，高速无冗余
7. 训练对数据质量极其敏感，容易学到人类不良驾驶习惯

2. 华为乾崑 ADS 3.0/4.0（半端到端，激光雷达 + 多传感器融合）

• 输入：多相机 + 激光雷达 + 毫米波雷达 + 超声波 + IMU+GNSS + 轮速计 + 全车车体参数；保留激光雷达冗余
• 架构：WEWA 世界引擎架构；感知、预测、规划合并为统一端到端大模型；保留定位与车辆控制独立模块，保留中间特征输出用于安全监控（可解释折中方案）；无图能力
  优势

1. 多模态冗余（激光雷达），恶劣天气、暗光场景鲁棒性显著优于纯视觉；国内城市、城中村、立交表现很强
2. 保留中间特征输出，安全监控、故障诊断能力强，更容易满足车规安全要求
3. 无图全国覆盖，接管率低，通行效率高；长尾场景由云端世界引擎生成仿真数据增强训练
   劣势
4. 硬件成本高（激光雷达）；整体系统链路依然比特斯拉重
5. 模型体量巨大，车端算力消耗高；世界模型仿真训练成本巨大
6. 复杂路口交互极端场景，自然行为流畅度略弱于 FSD

3. 小鹏 XNGP 端到端 VLA 大模型（半端到端，可选激光雷达）

• 输入：多目相机为主，高配版搭载激光雷达、毫米波、超声、IMU/GNSS、轮速、车体状态
• 架构：VLA 视觉语言行动模型，BEV 统一特征融合；感知 + 预测 + 规划一体化端到端模型，保留独立控制层，无图全国开城
  优势

1. 国内城区落地较早，全国城市覆盖速度快；VLA 引入语言语义，对交通标识、场景语义理解更强
2. 软硬件全栈自研，模型可以在有无激光雷达版本之间迁移
3. 泊车端到端融合超声波，地库、窄车位表现优秀
   劣势
4. 复杂无保护左转、人车混行场景，交互策略保守程度介于特斯拉和华为之间
5. 多传感器标定、时间同步工程维护成本高；模型推理时延控制压力大

4. 百度 Apollo（萝卜快跑 Robotaxi，混合架构）

• 路线：模块化为主，逐步接入端到端模型作为感知 / 规划增强；不是全车纯端到端；激光雷达 + 多传感器，高精地图 + 无图双模式
  优势：Robotaxi 商业化运营经验最强；多传感器融合、定位冗余度极高；城市复杂路口安全冗余极强；适合 L4 出租车运营
  劣势：传统模块边界依然存在，模块间信息损失；端到端只是局部模块，不是全链路 E2E；依赖高精地图场景扩张成本高；通行效率偏保守

5. Waymo（海外 Robotaxi）

• 路线：模块化 + 局部端到端增强，多激光雷达 + 多传感器；不采用特斯拉式全车单模型端到端
  优势：安全验证里程巨大；极端场景安全冗余行业标杆
  劣势：系统极其昂贵，硬件堆叠；模块多，系统复杂；端到端推进保守，落地扩张慢

6. 理想、小米（半端到端，VLA 大模型路线）

理想 AD Max、小米 XLA：相机为主 + 激光雷达 + 毫米波 + IMU/GNSS/ 超声，BEV + 端到端规控大模型，半端到端架构；
优势：面向家用乘用车，成本控制更好；国内城市道路适配；
劣势：端到端模型迭代时间较短，长尾场景积累少于华为、小鹏、特斯拉。

四、端到端架构的共性痛点、要点

1. 可解释性与安全认证：纯端到端黑箱，ISO26262、功能安全很难取证；量产主流都选择半端到端，保留中间特征 / 监控头
2. 传感器失效降级：多模态融合时，模型需要学习传感器故障识别，某传感器失效自动降低该模态权重，平滑降级
3. 训练数据问题：人类驾驶数据有大量次优行为；单纯行为克隆会模仿人类错误；必须搭配世界模型仿真、强化学习修正
4. 车体动力学耦合：模型输出轨迹不能超出车辆物理极限；所以车体参数、轮速、转向状态是不可缺少的输入特征

五、结束语

端到端的思考：

1. 为什么超声波雷达在高速端到端模型中权重很低，只在泊车端到端起关键作用？
2. 纯端到端（特斯拉）和带激光雷达半端到端（华为）在传感器融合逻辑上本质差异是什么？
3. 在端到端模型中，GNSS/IMU 是作为环境特征输入模型，还是仅底层定位？两种方案的优劣？
4. 端到端模型怎么处理传感器时序不同步、标定漂移问题？