LPC:localization planning and control,IN:lntegrated Navigation,FSD:Full Self-Driving,BEV:Bird`s Eye View
FSD V12 纯端到端:网络架构 + 完整训练方法
重要前提:特斯拉没有公开完整的模型权重、完整源代码,下面内容来自特斯拉 AI Day 公开演讲、论文、专利、技术拆解,V12 最大变革:把原来 48 个独立网络 + 几十万行 C++ 手工规则的流水线,合并成一个统一的端到端时序大模型,像素直接映射到转向 / 油门 / 刹车控制量。
老版本 FSD(V11 及更早)是 HydraNets 多任务多分支模块化网络;V12 是统一时序 Transformer 端到端 VA(Vision-to-Action)模型。
一、深度神经网络架构(推理 + 训练共用主干)
整体链路
8 路摄像头时序图像 → 单相机 RegNet 主干 + FPN 多尺度特征提取 → 跨相机 Cross-Attention 融合 → BEV / 体素占用网络 (Occupancy Network) + 时序 Transformer → 动作输出头(转向、油门、刹车时序动作)