点击下方卡片,关注“自动驾驶之心”公众号
戳我->领取自动驾驶近30个方向学习路线
是这样,一直有同学咨询我们想转行端到端。但大多数人停留在有这个想法,或者比较忙没时间准备,我相信看这篇文章的你很有可能也有这个问题。
据我们了解,新势力、传统主机厂都在大研发投入,L4的一些公司也在招募相关人才。所以需求侧已经明确,一些招聘网站上的JD也很多,大家可以看看。今天我分享一个同学一路转行的经历。
起初,他和大多数人一样。是做感知(检测/静态/OCC)这些方向的。看了很多我们的文章,也相信端到端是之后的趋势,包括他之前在职的公司也在转行端到端。现实的问题是,他没办法接触一些端到端实际的工作,简历上没办法补充这一项,之前的公司也不允许转岗。
这个困境之下,他找上了我们,寻求我们的建议。我们平台一直在follow最前沿的技术进展,在端到端这块做了一系列的课程,涵盖从小白入门、进阶到求职导向的各类课程。这个同学的需求,是明确的求职导向,所以我主要推荐的也是《面向端到端量产的实践小班课》。课程只有一个重点:聚焦量产,不讲论文,只讲落地。从一段式、两段式、强化学习、导航应用、轨迹优化、兜底方案,到具体的量产经验分享。
前一段时间他找到我,跟我报喜已经顺利上岸。L4和具身那边的offer都拿到了,剩下的是决策的问题。但就课程本身而言的经验,是两个行业都挺看重的。
这两个月也是跳槽和校招的高峰期,如果你打算在自动驾驶行业再上一层楼,或者了解一下端到端实际的就业薪资和需求,可以找我们聊聊。
讲师介绍
王路, C9本科+QS50 PhD,已发表CCF-A和CCF-B论文若干。现任国内TOP tier1算法专家,目前从事大模型、世界模型等前沿算法的预研和量产,所研发算法已成功落地并量产,拥有丰富的端到端算法研发和实战经验。
课程大纲
这门课程讲如何展开
第一章:端到端任务概述
经典的自驾系统分成了感知,地图,规控等多个系统模块。而在端到端时代,感知任务的合并,规控算法的learning化已是绝对的主流。如何更高效的合并感知任务,如何设计规控的learning化模块成为各大公司的核心必备技能。在这个章节中,老师会介绍主流的感知模型一体化架构和经典的规控learning化方案,同时也会对目前端到端的开源数据集和评测方式进行一个详细的介绍。
第二章:两段式端到端算法
本章节主要介绍两段式的端到端算法框架,包括两段式框架建模方式,感知与PNC的信息传递方式。为何使用两段式建模、两段式的优缺点介绍。在本章中,会正式开始讲解哪些感知信息会被下游消费以及如何消费。通过这些知识的讲解大家基本会对目前的两段式方案有一个大概的理解,最后会通过一个经典的PLUTO算法带领大家进行实战,可以让大家有个更全面的认知。
第三章:一段式端到端算法
本章节主要介绍一段式的端到端算法框架,相比于两段式框架来说,一段式的框架可以做到信息的无损传递,因此在性能上也更优于两段式的方案。在本章中大家会学习多种一段式框架的方案,例如基于vla的方法、基于diffusion的方法等。最后会带领大家进行VAD系列的学习,从而更深入的掌握一段式的方法。
第四章:导航信息的量产应用
导航信息在自动驾驶中是一个非常关键的要素信息,主要起到了一个引导、选路、选道的作用。在本章中老师会给大家介绍目前主流的导航地图的格式和包含的内容信息,以及在端到端的模型中,导航地图的编码与嵌入方式,如何更有效的发挥出导航地图的能力。
第五章:自动驾驶中的RL算法介绍
在之前的端到端算法介绍中,主要介绍的是基于模仿学习的方法,即让机器去模仿学习人类的驾驶行为。然而只靠纯模仿学习是不够的,因为一方面人类的驾驶风格迥异,同时有些corner-case场景又很难采集到。因此在模仿学习之后需要再接入一个基于强化学习的方法,目的是让机器能够学习到这种因果关系,从而达到一个可以泛化的目标。在本章中老师会重点介绍强化学习算法以及强化学习的训练策略。
第六章:端到端轨迹输出优化
本章主要是带领大家进行nn planner部分的项目实战,主要包括了基于模仿学习的算法实战,重点会介绍基于扩散模型的算法和基于自回归的算法。在SFT之后会继续讲解基于强化学习的算法实战。通过本章的学习大家会对模仿学习和强化学习的结合使用有一个非常深入的掌握和理解。
第七章:兜底方案 - 时空联合规划
真正量产落地阶段,除了模型部分还会有后处理的兜底逻辑。由于无法保证模型直出会有100%的准确率,因此会通过一些轨迹的平滑优化算法来使得最终输出的轨迹更加的稳定和可靠,本章会介绍目前一些常用的轨迹平滑算法,既有多模态轨迹打分搜索的算法,也有轨迹平滑的算法。学完本章会对整个端到端方案的上下游有一个清晰的理解。
第八章:端到端量产经验分享
最后的一章重点会对量产的一些经验进行分享,会从数据、模型、场景、规则等多个视角来剖析如何使用合适的工具和手段解决相应的问题,当面临一个实际的可落地的系统时,如何更合理的选用不同的策略和方法,从而能够快速提升一个系统的能力边界。
面向人群
本课程面向进阶学员,最好具备以下基础:(基础薄弱也能参加,老师会将学习内容纳入指导范围,力求最快速度上手,但不对以下内容做详细指导):
需要自备GPU,推荐算力在4090及以上;
熟悉自动驾驶BEV感知、视觉Transformer、端到端等常见算法;
掌握强化学习、扩散模型的理论基础;
具备一定的python和pytorch语言基础;
熟悉mmdet3d算法框架;
一定的高等数学、线性代数和矩阵论基础;