实战指南：从原理到部署，快速实现三维重建与实时渲染)
1. 高斯泼溅到底是个什么东西
1.1 从“拍一圈照片就能建模”说起
如果你接触过三维重建，大概率听过这样一个说法：拿手机绕着一个物体拍几十张照片，就能在电脑里生成一个可以旋转、缩放、甚至漫游的三维模型。这个愿景听起来很美好，但真正上手过的人都知道，传统摄影测量或者早期的神经辐射场方案，要么慢得让人抓狂，要么对硬件要求高得离谱。
高斯泼溅，英文叫 3D Gaussian Splatting，圈内一般简称 3DGS，是 2023 年 SIGGRAPH 上冒出来的一套三维重建与实时渲染方案。它的核心卖点非常直接：把原本需要几个小时甚至十几个小时才能完成的重建和渲染流程，压缩到几分钟级别，同时在画质上还能跟当时最火的 NeRF 掰手腕。这个“速度提升一个数量级”的说法，不是营销话术，而是实打实的工程结果。
我第一次跑通 3DGS 的官方代码时，用的是一张 RTX 3060 12G 的卡。训练一个中等复杂度的场景，大概十几分钟就出了可交互的结果，而同样场景用 NeRF 系的方案，我前一天晚上挂机跑了一整夜。这种体感上的差距，是让我决定认真研究它的直接原因。
那么它到底适合谁？如果你是做三维重建、数字孪生、游戏资产、虚拟拍摄、电商展示、文物数字化这类工作的，3DGS 基本是绕不开的一个工具。哪怕你只是对三维视觉感兴趣，想自己动手做一个能实时旋转的小场景，它也是目前门槛相对友好、反馈最快的一条路。
1.2 一句话讲清它的本质：用一堆“会发光的椭球”拼出场景
要理解 3DGS，先得放下传统网格模型的概念。传统三维模型是由三角面片组成的，表面是硬的、有明确边界的。而 3DGS 完全不是这个路子。
它把整个场景表示成一大堆三维高斯分布，你可以把它们想象成一个个半透明的、会发光的椭球。每个椭球有自己的位置、大小、旋转方向、颜色和不透明度。当你要渲染某个视角时，就把这些椭球按照深度排序，然后像画水彩一样一层层“泼”到屏幕上，混合出最终的画面。这也是“泼溅”这个名字的由来——它不是画线框，也不是贴纹理，而是把一堆带颜色的椭球投影到二维平面上叠加。
这个表示方式有几个非常关键的好处。第一，它天然是显式的，不像 NeRF 那样把场景藏在神经网络的权重里，你想看哪个椭球、想改哪个椭球，直接操作数据就行。第二，它的渲染可以用 GPU 的光栅化管线来做，速度极快，这也是它能做到实时交互的根本原因。第三，它的训练过程本质上是可微的，也就是说可以通过梯度下降去优化每个椭球的参数，让最终渲染出来的画面和真实照片越来越像。
提示：很多人第一次听到“高斯”会以为是统计学里的正态分布，其实在 3DGS 里，三维高斯就是一个空间中的椭球形状的概率密度函数，用来描述一个“点”在空间中的影响范围。理解成椭球就够了，不必纠结数学细节。
2. 为什么它能把速度提升一个数量级
2.1 NeRF 的瓶颈在哪里
要讲清楚 3DGS 为什么快，必须先说清楚 NeRF 为什么慢。NeRF，全称神经辐射场，它的思路是训练一个多层感知机，输入是空间中的一个三维坐标加一个观察方向，输出是这个点的颜色和密度。渲染一张图的时候，需要从相机出发，对每个像素发射一条光线，沿着光线采样几百个点，每个点都送进神经网络算一遍，最后积分出像素颜色。
这个过程的计算量是恐怖的。一张 800x600 的图有 48 万个像素，每个像素采样 128 个点，那就是六千多万次神经网络前向推理。训练的时候还要反向传播，计算量再翻几倍。所以 NeRF 训练一个场景动辄十几个小时，渲染一帧也要好几秒，根本谈不上实时。
后来出现了一些加速方案，比如把场景切成网格预计算、用哈希编码降低网络规模，速度确实提升了不少，但本质上还是“逐像素采样+神经网络查询”的框架，天花板摆在那里。
2.2 3DGS 的三板斧：显式表示、光栅化、自适应密度控制
3DGS 的快，来自三个层面的设计，缺一不可。
第一板斧是显式表示。场景不再藏在神经网络里，而是一组实实在在的参数：每个高斯有 59 个参数，包括位置 xyz、缩放 xyz、旋转四元数 wxyz、不透明度 alpha、球谐系数（用来表示不同视角下的颜色）。这些参数直接存在显存里，渲染时不需要任何神经网络推理，只是查表加计算。
第二板斧是光栅化渲染。它借用了游戏显卡最擅长的光栅化管线。把每个三维高斯投影到屏幕上变成一个二维椭圆，然后按深度排序，用 alpha 混合叠加。这个过程 GPU 做起来飞快，因为光栅化本来就是显卡的本职工作。实测下来，一个训练好的场景在 1080p 分辨率下跑到 100 帧以上是很轻松的。
第三板斧是自适应密度控制。训练过程中，系统会根据梯度信息自动决定在哪里增加高斯、在哪里删除高斯、哪些高斯需要分裂成更小的。场景细节多的地方高斯就密集，空旷的地方高斯就稀疏。这个机制让高斯数量能自动匹配场景复杂度，既不会浪费算力，也不会丢失细节。
这三者叠加起来，训练时间从小时级降到分钟级，渲染从秒级降到毫秒级，说提升一个数量级其实是保守的。
2.3 一张表看清 NeRF 和 3DGS 的差异
| 对比维度 | NeRF 系方案 | 3DGS |
|---|---|---|
| 场景表示 | 神经网络隐式表示 | 显式高斯点云 |
| 渲染方式 | 逐像素光线采样 | GPU 光栅化 |
| 训练时间 | 数小时到数十小时 | 几分钟到几十分钟 |
| 渲染速度 | 秒级到分钟级 | 实时（100+ FPS） |
| 显存占用 | 中等 | 较高（高斯数量大时） |
| 编辑难度 | 难，需重新训练 | 易，可直接操作高斯 |
| 画质 | 优秀 | 优秀，细节略胜 |
| 硬件门槛 | 中高端 GPU | 中高端 GPU，显存要求更高 |
这张表是我自己在几个项目里实测总结的，具体数字会随场景复杂度和硬件配置浮动，但大方向不会错。
3. 自己动手跑通一个 3DGS 项目
3.1 硬件和环境的准备
先说硬件。3DGS 对 GPU 的依赖很重，官方代码是基于 CUDA 写的，所以必须是 NVIDIA 的卡。显存方面，我建议至少 12G 起步，8G 也能跑但场景一大就爆显存。我用过 RTX 3060 12G、RTX 4070 Ti 16G 和 RTX 4090 24G，体验差距非常明显。4090 上跑一个中等场景，训练五分钟出头就收敛了，3060 大概要十五到二十分钟。
CPU 和内存相对没那么关键，但内存建议 32G 以上，因为数据加载和预处理阶段会吃不少内存。硬盘最好是 NVMe 固态，因为要频繁读写图像和中间结果。
软件环境这块，官方推荐的是 Ubuntu 20.04 或 22.04，CUDA 11.8 以上，Python 3.8 到 3.10。Windows 也能跑，但坑会多一些，尤其是编译 CUDA 扩展的时候。如果你在 Windows 上折腾，建议直接用 WSL2，能省掉很多麻烦。
# 创建虚拟环境 conda create -n gs python=3.10 conda activate gs # 安装 PyTorch，注意 CUDA 版本要匹配 pip install torch torchvision --index-url https://download.pytorch.org/whl/cu118 # 克隆官方仓库 git clone https://github.com/graphdeco-inria/gaussian-splatting --recursive cd gaussian-splatting # 安装依赖 pip install -r requirements.txt # 编译 CUDA 扩展，这一步最容易出错 pip install submodules/diff-gaussian-rasterization pip install submodules/simple-knn注意：编译 CUDA 扩展时，一定要确保
nvcc --version显示的版本和 PyTorch 用的 CUDA 版本一致。我踩过好几次坑，都是版本对不上导致编译失败。另外，如果你的卡是比较新的架构，比如 sm_89 或 sm_90，可能需要手动指定编译架构。
3.2 数据集的制作：自己拍还是用现成的
3DGS 需要的数据输入是一组围绕场景拍摄的照片，加上每张照片的相机位姿。相机位姿通常用 COLMAP 这个工具来估计，它是摄影测量领域的标准工具。
如果你只是想快速体验，官方提供了几个预置数据集，比如 Mip-NeRF 360 和 Tanks and Temples，直接下载就能跑。但如果你想用自己的数据，就得走完整的采集和标定流程。
拍摄的时候有几个要点。第一，照片要有足够的重叠，相邻两张至少重叠 70% 以上，否则 COLMAP 匹配不上。第二，尽量保持光照一致，不要一张在阴影里一张在阳光下，3DGS 对光照变化比较敏感。第三，避免拍摄纯色、反光、透明的物体，这些区域 COLMAP 很难提取特征点。第四，拍摄路径最好是环绕式的，不要只从一个方向拍。
我自己拍过一个小雕塑，大概拍了 120 张照片，用手机拍的，分辨率 4000x3000。COLMAP 跑位姿估计花了大概二十分钟，然后 3DGS 训练用了十二分钟，出来的效果相当不错，连雕塑表面的纹理细节都还原出来了。
# 用 COLMAP 估计位姿 python convert.py -s /path/to/your/images # 开始训练 python train.py -s /path/to/your/images -m /path/to/output3.3 训练过程中的关键参数
3DGS 的训练参数不算多，但有几个直接影响结果质量。
第一个是迭代次数。官方默认是 30000 次，一般场景跑到这个数就收敛了。如果你追求极致画质，可以加到 50000，但时间会翻倍。我实测下来，30000 和 50000 的差距在肉眼层面已经很小了，除非你做的是高精度数字化存档。
第二个是高斯数量上限。默认没有硬上限，但显存会限制你。一个中等场景大概会生成 100 万到 300 万个高斯，显存占用在 8G 到 16G 之间。如果你的显存不够，可以调低--densify_until_iter参数，让高斯提前停止增长。
第三个是学习率。位置学习率默认是 0.00016，缩放是 0.005，旋转是 0.001。这些参数官方调得已经比较稳了，一般不建议大改。如果你发现训练结果模糊，可以适当降低位置学习率，让高斯收敛得更精细。
# 一个我常用的训练命令 python train.py \ -s /path/to/data \ -m /path/to/output \ --iterations 30000 \ --densify_until_iter 15000 \ --position_lr_init 0.00016 \ --save_iterations 7000 15000 30000提示：训练过程中会定期保存中间结果，建议至少保存三个检查点。有时候后期过拟合反而会让画质变差，中间检查点可能效果更好。
4. 实际使用中会遇到的那些坑
4.1 显存爆炸的几种典型情况
显存不够是 3DGS 最常见的报错。我总结了几种典型场景。
第一种是图像分辨率太高。官方代码默认会把图像降采样到 1600 像素宽，但如果你手动关了降采样，4000x3000 的原图直接进去，显存瞬间就满了。解决办法是保留降采样，或者手动把图像缩到 2000 像素以内。
第二种是场景太大。比如你拍了一整栋楼，高斯数量会爆炸式增长。这时候可以调低--densify_grad_threshold，让高斯增长更保守，或者用--cap_max直接设一个上限。
第三种是 batch 太大。3DGS 本身没有 batch 的概念，但如果你同时跑多个训练任务，显存会叠加。建议一次只跑一个。
4.2 重建结果有空洞或者漂浮物怎么办
这是新手最常问的问题。空洞通常是因为拍摄时某些角度覆盖不足，COLMAP 没能估计出那些区域的位姿，导致 3DGS 没有足够信息去填充。解决办法是补拍，或者用 COLMAP 的--Mapper.ba_global_function_tolerance参数放宽优化容差。
漂浮物则是另一种情况，通常是背景中的一些噪点被错误地拟合成高斯，或者深度估计不准导致高斯飘在空中。可以在训练后手动删除，用官方提供的查看器选中那些高斯然后删掉。也可以在训练时调高--opacity_cull_threshold，让低不透明度的高斯提前被剔除。
4.3 常见问题速查表
| 问题现象 | 可能原因 | 解决办法 |
|---|---|---|
| 训练报 CUDA out of memory | 显存不足 | 降低分辨率、减少高斯上限、关闭其他占显存程序 |
| COLMAP 匹配失败 | 照片重叠不足或纹理太少 | 补拍、增加重叠、避免纯色物体 |
| 渲染画面模糊 | 高斯过大或学习率不当 | 降低位置学习率、增加迭代次数 |
| 出现大量漂浮物 | 深度估计错误 | 调高不透明度剔除阈值、手动删除 |
| 训练速度异常慢 | GPU 未正确调用 | 检查 CUDA 版本、确认 PyTorch 用的是 GPU 版 |
| 颜色偏暗或偏亮 | 曝光不一致 | 拍摄时锁定曝光、后期统一调色 |
5. 3DGS 能用在哪些实际场景
5.1 电商和展示类应用
这是目前商业化落地最快的方向。传统电商展示要么是静态图片，要么是预先做好的 3D 模型，制作成本高、周期长。用 3DGS，商家只需要拿手机绕商品拍一圈，几十分钟后就能得到一个可以 360 度旋转、可以缩放看细节的三维展示。我见过一个做鞋类电商的团队，他们把整个拍摄到上线的流程压缩到了一小时以内，效率提升非常明显。
5.2 数字孪生和场景重建
对于建筑、园区、工厂这类场景，3DGS 能快速生成高保真的三维副本。相比传统的激光扫描，它的设备成本低得多，一部手机或者一台普通相机就能搞定。而且生成的结果可以直接在网页端实时浏览，不需要安装专业软件。我参与过一个小型园区的重建项目，用无人机拍了大概 500 张照片，训练出来的场景在浏览器里跑得很流畅，连树木的枝叶都能看清。
5.3 虚拟拍摄和影视预览
影视行业对三维重建的需求一直很大，尤其是虚拟拍摄和前期预览。3DGS 的实时渲染能力让它可以直接接入虚幻引擎或者 Unity，作为背景环境使用。虽然目前在高精度工业级应用上还不如传统方案成熟，但在快速预览和概念验证阶段，它的效率优势是压倒性的。
5.4 文物和艺术品数字化
这个方向我觉得特别有意义。很多文物和艺术品不适合长期展出，或者运输成本极高。用 3DGS 做数字化存档，既能保留高精度的几何和纹理信息，又能让观众在线上自由浏览。我见过一个博物馆的项目，他们把一批瓷器做了 3DGS 重建，观众可以在网页上把瓷器“拿”起来旋转，连釉面的反光都能看到。
6. 关于硬件和 GPU 的一些实操经验
6.1 显卡怎么选
如果你只是学习和体验，RTX 3060 12G 是性价比很高的选择，二手价格也不贵。如果你要正经做项目，建议至少 RTX 4070 Ti 16G 起步，显存大意味着能跑更大的场景。如果预算充足，RTX 4090 24G 是目前消费级里最舒服的，训练速度快、显存大，基本不会遇到爆显存的问题。
专业卡方面，A 系列和 H 系列当然更好，但价格不是个人能承受的。如果你只是偶尔跑一下，租用云 GPU 也是不错的选择，按小时计费，用完就释放，成本可控。
6.2 怎么确认 GPU 真的在干活
很多人跑训练的时候发现速度很慢，第一反应是代码有问题，其实往往是 GPU 根本没被调用。最直接的检查方法是在另一个终端跑nvidia-smi，看 GPU 利用率和显存占用。如果利用率长期低于 30%，那大概率是数据加载或者 CPU 预处理成了瓶颈。
另一个常见问题是 PyTorch 装成了 CPU 版。用torch.cuda.is_available()检查一下，返回 False 就说明装错了。重装的时候注意指定 CUDA 版本的 index-url。
6.3 多卡和显存优化
3DGS 官方代码对多卡支持一般，如果你有多张卡，最简单的办法是跑多个独立任务，而不是指望它自动并行。显存优化方面，可以开启混合精度训练，能省大概 30% 的显存。另外，把图像预加载到内存而不是每次从硬盘读，也能提升不少速度。
注意：混合精度训练有时候会导致数值不稳定，如果发现训练过程中 loss 突然变成 NaN，先关掉混合精度试试。
7. 我对 3DGS 的一些个人看法
7.1 它不是万能的
3DGS 很强，但不是什么场景都适合。它对光照一致性要求高，对反光和透明物体处理不好，对动态场景基本无能为力。如果你要重建的是一个在风中摇摆的树，或者一个表面全是镜面的物体，3DGS 出来的结果可能会让你失望。这时候可能需要结合其他方案，或者等后续的研究进展。
7.2 生态还在快速演进
3DGS 从 2023 年出来到现在，社区发展非常快。各种改进版本层出不穷，有的专注于压缩高斯数量，有的专注于动态场景，有的专注于编辑和交互。如果你现在入手，建议保持关注官方仓库和几个主流的衍生项目，每隔几个月就会有新东西出来。
7.3 学习路径的建议
如果你是零基础，我建议先跑通官方代码，用一个预置数据集体验完整流程。然后自己拍一组照片，走一遍 COLMAP 加训练的全流程。最后再去看论文和代码细节，理解每个参数背后的原理。这个顺序比一上来就啃论文要高效得多，因为 3DGS 的很多设计是工程导向的，先看到效果再理解原理，会顺畅很多。
我在实际使用中发现，3DGS 最大的价值不是它某一项指标有多强，而是它把三维重建这件事的门槛拉低了一个档次。以前需要专业设备和团队才能做的事，现在一个人一台电脑就能搞定。这种效率的提升，才是它真正让人兴奋的地方。
