做了一份3DGS全栈学习路线图，包含前馈GS......

点击下方卡片，关注“自动驾驶之心”公众号

戳我->领取自动驾驶近30个方向学习路线

特斯拉ICCV的分享吸引了很多小伙伴的关注，里面的3D Gaussian的引入可谓是一大亮点。基本上可以判断特斯拉是基于前馈式GS算法实现的，近期学术界的工作也相当多，像小米的WorldSplat和清华最新的DGGT等等。3DGS正在自动驾驶焕发又一轮生机。目前业内普遍的共识是引入了前馈GS重建场景在利用生成技术生成新视角，不少公司都在开放HC招聘。

但3DGS的技术迭代速度远超想象，静态重建3DGS、动态重建4DGS、表面重建2DGS，再到feed-forward 3DGS。很多同学想入门却苦于没有有效的学习路线图：既要吃透点云处理、深度学习等理论，又要掌握实时渲染、代码实战。为此自动驾驶之心联合工业界算法专家开展了这门《3DGS理论与算法实战教程》！我们花了两个月的时间设计了一套3DGS的学习路线图，从原理到实战细致展开。全面吃透3DGS技术栈。

讲师介绍

Chris：QS20 硕士，现任某Tier1厂算法专家，目前从事端到端仿真、多模态大模型、世界模型等前沿算法的预研和量产，参与过全球TOP主机厂仿真引擎以及工具链开发，拥有丰富的三维重建战经验。

课程大纲

这门课程讲如何展开

第一章：3DGS的背景知识

第一章主要是课程的概述。很多刚入门的同学往往一头雾水，尤其是直接接触3DGS领域的同学。所以本章节先从计算机图形学的基础讲起，三维空间的隐式表达和显式表达、渲染管线、光线追踪、辐射场渲染都是什么，这些技术概念和3DGS的联系是什么。进一步老师会讲解3DGS常用的开发工具，像SuperSplat，点云初始化最常用的工具COLMAP以及业内现在主流的算法框架Gsplat。为了更好的让同学们入门，第一章设计了一个小作业，基于3D Real Car训练3DGS模型，进一步使用SuperSplat移除一些杂点。

第二章：3DGS的原理和算法

第二章则正式进入到3DGS的原理和算法部分。整体上第二章的设计思路是带大家先打好基础，先详细梳理3DGS的原理部分及核心伪代码，接着讲解动态重建、表面重建、鱼眼重建和光线追踪的经典文章和最新的算法，由点及面层层深入。实战我们选取了英伟达开源的3DGRUT框架，适合大家学习和进一步科研。

第三章：自动驾驶3DGS

第三章是自动驾驶仿真重建的技术讲解。目前网上的资料五花八门，很多同学没有办法高效筛选真正适合自己的学习内容。因此这个章节就聚焦在三篇工作上，浙大经典的Street Gaussian、上交OmniRe和浙大最新的Hierarchy UGP。实战我们选取了学术界和工业界使用最多的DriveStudio，方便大家后续扩展学习。

第四章：3DGS重要的研究方向

经过前三章的学习，我们梳理完了3DGS的理论基础和主流技术方向。所以在第四章，我们聚焦在3DGS重要的几个研究方向上：COLMAP的扩展、深度估计及Relighting。这个部分老师也会分享个人的理解，这些研究方向如何服务于工业界，学术界为什么值得探索，未来又将走势如何等等。

第五章：Feed-Forward 3DGS

第五章老师和大家聊聊Feed-Forward 3DGS。前馈3DGS今年特别火，以往per-scene optimization的方法用起来实在不方便，所以feed-forward应运而生。这一章会先梳理一下feed-forward的发展历程和算法原理，接着讲解两篇最新的算法工作AnySplat和WorldSplat。

第六章：答疑讨论

第六章我们会选择线上交流的形式，组织vip群内答疑。聊聊目前3DGS的岗位需求、行业的痛点以及一些开放性问题的讨论，学院们也有机会和老师深入交流。

面向人群

• 需要自备GPU，推荐算力在4090及以上；

• 一定的计算机图形学基础；

• 一定程度了解视觉重建、NeRF、3DGS等技术；

• 一定的概率论和线性代数基础，熟悉常用的数学运算；

• 具备一定的python和pytorch语言基础；

学后收获

• 掌握3DGS完善的理论知识及相关技术栈；

• 掌握3DGS算法开发框架，训练开源模型；

• 和学术界&工业界的同行持续交流；

• 无论是实习、校招、社招都能从中受益；

课程进度安排

课程开课时间：12.1号，预计两个半月结课。离线视频教学，vip群内答疑+三次线上答疑；

课程咨询