前几天我把书桌一角翻出来，用手机绕着小盆栽和台灯拍了六十多张照片，丢进3D高斯泼溅的流程里，一个下午之后，得到了一段可以自由拖拽视角的3D场景。鼠标转动的时候，叶片上的高光、桌面的纸纹、台灯边缘的电线都还挺像那么回事，单帧截图真的能骗过朋友圈。但你说它跟照片一样？也不完全是。视角一拉远，植物的边缘开始出现毛茸茸的飞絮，纸面的反射光会跟着视角漂，稍微靠近灯罩，几根电线的轮廓就像被橡皮擦过。这就是我理解的“像照片，还不够”。
这篇东西写给想上手高斯泼溅的摄影师、3D爱好者和搞视觉算法的工程师，也写给被各种炫酷demo种草但不知道水有多深的人。我会把从拍照、跑COLMAP、训练到排查问题的全过程都摊开讲，包括那些demo视频永远不会告诉你的坑。这里面的每个参数我都实际调过，每个报错也都在显存和硬盘的惨叫声中见过。
1. 为什么是高斯泼溅：一个场景背后的技术拆解
1.1 什么是3D高斯泼溅，和NeRF相比赢在哪
3D高斯泼溅（3D Gaussian Splatting，简称3DGS）核心思路是：把整个场景表示成一大堆三维高斯函数。每一个高斯函数都带自己的位置、协方差矩阵、不透明度，还有一组球谐系数用来表达随视角变化的颜色。把这些高斯拉到相机平面上，变成一个个椭圆光斑，撑开成对应像素的颜色，然后按照深度排序、透明混合，就生成了新视角的图像。
不理解细节的读者可以把场景想象成十几万张半透明的小贴纸悬浮在空中，每张贴纸都是一个模糊的彩色光斑。它们相互嵌套、叠加，最终拼成你看到的画面。有的光斑负责桌面纹理，有的光斑负责叶片边缘，有的光斑负责灯罩上的高光。训练过程其实就是不断调整这十几万张“贴纸”的位置、大小、颜色和透明度，让它们从任何角度看去都尽可能接近真实照片。
2023年那篇原始论文发布后，这个方向几乎一夜之间火遍图形学和CV圈，很大原因是它正面撞上了NeRF。NeRF用多层感知机和逐像素光线采样来做隐式神经渲染，在静态场景里效果很好，但训练慢、渲染更慢，一个场景往往要等十几分钟甚至几十分钟才能看到一帧能用的结果。3DGS走的是显式表达加可微光栅化的路线，训练时间缩到几分钟，渲染速度不仅能跑实时，还能放在工程链路里直接集成。
对比起来很直观：
| 技术 | 场景表示 | 训练时间（典型场景） | 渲染速度 | 显存压力 |
|---|---|---|---|---|
| NeRF | 隐式MLP+体素采样 | 数小时级 | 单帧秒级 | 中等 |
| 3DGS | 显式三维高斯集合 | 数分钟至半小时 | 实时100fps+ | 较高 |
这个对比决定了3DGS在高时效场景里的独特位置：你要快速复刻现实、要能交互、要能实时观看效果，那它就是当前最顺手的工具。但如果只是要离线出一张高质量静帧，NeRF仍然是好选择。选哪个取决于你要“实时可用”还是“极致离线画质”。
1.2 我复刻场景的整体流程（从拍照到输出）
整个流程并不复杂，但步骤之间耦合得很紧，一个环节糊弄了，后面全部白干。我这次走了一遍完整链路：
- 用手机固定焦距，绕着目标场景拍摄约60到80张照片，保证相邻照片有足够重叠。
- 把照片喂给COLMAP做运动恢复结构（SfM），估计每张照片的相机位姿，顺便生成稀疏点云。
- 把COLMAP输出结果整理成3DGS要求的目录结构。
- 用训练脚本跑3DGS训练，大约20到40分钟，得到场景的三维高斯模型（一个PLY文件）。
- 用官方渲染器或第三方查看器加载模型，自由漫游视角，导出视频或截图。
看起来不复杂，但每一步都有很多细节。尤其是第一步拍照，很多人觉得“有照片就能重建”，结果拍了一堆高糊、过曝、大光比的素材，跑完COLMAP就发现位姿全飘了。后面我会专门说拍照的坑。
2. 前置准备：一堆照片之外的硬功夫
2.1 拍照时的几个严苛细节（曝光、重叠率、视角）
3DGS的输入是相机位姿，而位姿本身又是从照片特征点匹配中算出来的。这意味着照片质量直接决定了场景几何骨架。首先，曝光和ISO一定要尽量锁死。我习惯用手机的专业模式或相机的M档固定快门、光圈、ISO，然后只靠移动机位取景。原因是重建算法需要像素值在不同视角下保持一致性。如果你自动曝光，走到窗户边一张亮一张暗，算法会以为场景光照变了，最后纹理出现奇怪的“阴阳脸”。
重叠率是关键中的关键。相邻两张照片最好保持70%以上的可视区域重叠。判断方法很简单：拍完一张后，把取景框里的主物体挪到画面边缘再拍下一张。我一开始贪快，每张只让中间区域重叠，结果COLMAP匹配到的特征点少得可怜，稀疏重建直接失败。后来老老实实按环形路径，每移动一点就多拍一张，一次扫描快门数在80张以上才算靠谱。
视角多样性也容易忽略。很多人只会绕着一个水平圈扫描，拍出来的结果是：物体侧面还行，顶部和底部全是糊的。正确做法是分层拍，低机位拍一圈、平视角拍一圈、俯拍再拍一圈，尽量让同一特征点出现在三四个不同高度、不同角度的画面里。纯反射面、透明物体、无纹理白墙是重建杀手，它们没有稳定的特征点，还会让位姿解算发散。我在一个玻璃杯上栽过跟头，玻璃边缘被重建得像长了毛刺，后面只能用遮挡物把它们先隔开。
最后说镜头因素，固定焦距拍摄，不要用广角变焦中间切换。变焦、自动对焦都会改变镜头的畸变模型，COLMAP会很难收敛。如果实在要用广角，建议提前做畸变标定，不过对新手来说直接固定主摄焦距最省心。
2.2 相机位姿估算与数据集结构
照片拍完，接着跑COLMAP。它对算力要求不高，CPU跑也不慢，但内存要看照片数量和分辨率。我这次80张图，每张约4000x3000像素，COLMAP在普通八核笔记本上大约十五分钟就能完成特征提取和匹配，再花几分钟做稀疏重建。
COLMAP的常规操作流程分三步：特征提取、特征匹配、稀疏重建。特征提取用的是SIFT，它会找照片里的角点、纹理边缘、亮度突变点；特征匹配则是把不同照片里的相似特征点配对；稀疏重建通过三角测量把匹配关系变成三维点坐标，同时反解每张照片的位姿。这一步做完，你会得到一个带相机位姿的稀疏点云，以及包含相机内外参的相机参数文件。
3DGS训练脚本期望的目录结构通常长这样：
data/ └── myscene/ ├── input/ │ ├── 00000.jpg │ ├── 00001.jpg │ └── ... └── sparse/ └── 0/ ├── cameras.bin ├── images.bin └── points3D.bininput里放原始照片，sparse/0里放COLMAP的二进制输出。如果你用的是其他采集工具导出的位姿，需要写个小脚本转成这个格式。我自己最初直接用COLMAP桌面版导出了文本格式，结果训练脚本不认，后来才意识到官方代码更习惯binary格式。安静跑完COLMAP后，可以随机挑几张图看看稀疏点云投影位置，如果点云和物体轮廓大致重合，说明位姿可信。
设备方面，训练3DGS必须有NVIDIA显卡，显存建议至少8GB。官方代码依赖CUDA扩展，没有GPU基本没法跑。好消息是一张消费级RTX 3060就能带得动小型场景，训练时间和显卡档次正相关。平台上做数据采集的手机、相机反而没那么多要求。
3. 训练与优化：核心参数和现场调参经验
3.1 环境配置与启动训练
训练环境配置说难不难，说简单也折腾。官方开源仓库主要依赖PyTorch、COLMAP、OpenCV，以及一段用CUDA写的前向光栅化后端。我在Windows下用conda建环境，装好PyTorch后编译CUDA扩展，编译这一步最容易踩坑，要提前装好Visual Studio的C++编译环境和匹配显卡的CUDA Toolkit。Linux下相对顺滑，直接conda和pip装依赖就能完成，推荐的组合是Python 3.8加PyTorch 1.13左右的稳定版本，新版PyTorch也能跑，但有时会有算子兼容问题。
启动训练的命令比想象中简单。假设数据放在data/myscene，训练输出放到output/myscene：
python train.py -s data/myscene -m output/myscene --iterations 30000终端开始刷迭代日志后，你会看到两个loss值不断下降。我一般让它在后台跑，然后隔几分钟去看一眼渲染预览。官方训练脚本默认每100次迭代输出一个测试视角的渲染图，这些预览图能直接反映建模质量，比什么指标都直观。
这里说一个细节：3DGS训练不是一拍脑袋全用默认参数就完事，不同采集场景对参数的需求差异很大。有些场景需要关闭或削弱自适应稠密化，有些场景则需要更早开始修剪低透明度的高斯。你得理解每个参数背后的物理含义，才能对号入座。
3.2 影响效果的关键参数逐个说
训练3DGS的过程中，最核心的一环叫自适应密度控制。它像园丁修剪植物：每隔一段迭代，检查每个高斯的透明度梯度和空间尺度，判断要不要克隆、分裂或者清除。场景细节不够时，它把一个大高斯克隆成两个，让覆盖面更细；某个高斯太大且透明度低，说明它是个“烟雾弹”，直接剪掉。这套机制让点云不断调整密度，直到匹配照片里的细节。
和它直接相关的参数有这几个，我用默认值当基准解释：
| 参数 | 默认值 | 作用 | 本人体感 |
|---|---|---|---|
| iterations | 30000 | 总迭代次数 | 小场景两万步够用，复杂场景建议三万以上 |
| densify_until_iter | 15000 | 自适应稠密化停在第几步 | 太早停，后续细节补不上；太晚停，点云数量爆炸 |
| densification_interval | 100 | 每多少步做一次稠密化判断 | 保持默认，改动容易抖动 |
| opacity_threshold | 0.005 | 透明度低于该值的高斯会被剪除 | 大场景可调高到0.01，减少飘浮物 |
| sh_degree | 3 | 球谐阶数，控制视角相关颜色表达 | 室内光斑场景可以砍到2，能省不少显存 |
| position_lr_init | 0.00016 | 位置初始学习率 | 拉高会让高斯乱飞，新手慎改 |
| position_lr_final | 0.0000016 | 位置最终学习率 | 训练后期需要小步长精细贴边 |
| lambda_dssim | 0.2 | 损失函数中D-SSIM项的权重 | 太高会抹掉锐利纹理，太低则颜色断层 |
损失函数用的是L1损失和D-SSIM损失的加权组合。L1负责保住亮度和颜色的绝对值，D-SSIM负责保住局部结构相似度。如果渲染结果发灰、细节糊，多半是lambda_dssim太高；如果画面对比度过强、局部噪声明显，可以试着把它从0.2降到0.1。这些经验值没有绝对正确，最好的做法是开两组实验并排看渲染预览。
自适应密度控制的阈值也有讲究。opacity_threshold控制的是“活下来”的高斯最低透明度。我遇到过一个场景，因为背景大块白墙，训练结束后空气中残留了大量半透明白色高斯，从某个角度看去像一层雾。把opacity_threshold从0.005调高到0.015，重新训练后雾感明显减少，代价是极细小的半透明细节也一并消失了。所以这个值本质上是“干净度”和“细节度”之间的天平。
3.3 怎么判断训练效果好不好
训练过程中最直观的判断方式是盯住渲染预览图，但量化指标也要懂，否则无法横向比较不同参数版本。3DGS领域常用的三个指标是PSNR、SSIM、LPIPS。PSNR关注像素级误差，越高越好；SSIM关注亮度、对比度、结构的相似性，越接近1越好；LPIPS用深度特征判断感知相似性，越低越好。它们各管一摊，单独的PSNR高并不代表观感好，我见过PSNR还不错但边缘重影严重的模型，反过来LPIPS低才是视觉观感更可靠的信号。
我个人习惯先看预览图，再重点检查三个地方：物体轮廓是不是干净利落，材质表面有没有波纹状伪影，以及视角转动时高光是否稳定。如果轮廓边缘有透明薄片，说明背景区域的修剪力度不够；如果表面有规则波纹，说明学习率设置导致高斯尺度过度膨胀；如果高光随视角乱跳，多半是球谐阶数不够或训练迭代不足。
量化指标只能做辅助，更要紧的是在全部迭代跑完后，到场景里做一次“漫游检查”。加载模型后从不同距离、多个角度绕着物体看一圈，重点看侧面和顶部，因为训练视角稀疏的方向最容易露馅。这一步能发现很多指标上看不出的问题，比如视角边缘的高斯漂移、地面反射斑块、远处背景分裂等。
4. “像照片，还不够”：效果验收与常见坑
4.1 静态像照片，几何未必对
我自己跑完第一版模型后，私下很兴奋，因为默认视角的渲染结果确实可以用“以假乱真”来形容。直到我试着把相机穿到桌面以下，看到桌板的背面居然也有一层薄薄的纹理，才意识到3DGS从来不会真正把“不可见区域”当作空洞处理。它会用高斯把可能的几何缝隙填得满满的，表面看起来像实心，实际上更像一堆带颜色的“蛋壳”。
三维高斯泼溅的得与失都在“显式”二字上。显式表达让训练和渲染快，也让编辑变得相对容易，但它缺少NeRF网络里那种隐式连续表面的约束。高斯各自独立地调节位置大小，不会强制形成一张完整曲面。所以复杂形体、细长物体、极端视角下的几何经常会“放飞自我”。直接后果是：在最贴近训练视角的位置看，场景像照片；一旦切换到训练数据没覆盖到的角度，几何崩塌得非常快。
这也是标题里“像照片，还不够”的第一层意思。照片是固定视角的光学记录，而3DGS要支撑的是任意视角的连续观察。静态渲染能“像照片”，但几何真实性还远没到照片本身那种物理可信程度。做展示、做效果预览没问题，做精确量测、物理仿真或工程级数字孪生，还差得远。
4.2 常见缺陷排查速查表
在复刻现实的过程中，几乎每个人都会遇到下面这些问题。我做成一张速查表，按现象查原因就好：
| 现象 | 可能原因 | 解决思路 |
|---|---|---|
| 场景整体抖动、轮廓漂移 | 相机位姿不准确或照片过少 | 删掉模糊和过曝照片，补拍重叠区域，重跑COLMAP |
| 大片白墙出现水波纹 | 无纹理区域缺乏特征点，位姿解算发散 | 给墙面加临时标记物，或改用弱纹理专用匹配选项 |
| 玻璃、水面出虚影 | 高光反射被当作场景结构 | 减少纯反射表面进入拍摄，或后期手动分割剔除 |
| 透明物体表现像雾 | 高斯按深度排序后混合顺序出错 | 避免直接拍摄透明物体，或单独用语义模型拆分 |
| 训练完成后模型好几个GB | 高斯数量膨胀、球谐阶数过高 | 调高透明度修剪阈值、限制sh_degree，或用压缩算法 |
| 显存不足跑不到3万步 | 输入分辨率太高或场景过大 | 降采样图片、减少迭代、调低梯度累积 |
| 视角快速转动时闪点 | 高斯尺度太小或透明度极端 | 调小位置学习率、增加小尺度高斯修剪阈值 |
| 远处背景模糊成团 | 背景特征点不足且高斯尺度不均 | 增加远距离拍摄，约束背景高斯的最大尺度 |
别小看这张表，它是我反复调模型总结出来的高频问题集。很多问题看着是训练参数问题，根源却在数据和位姿上，所以建议排查顺序永远是：先查照片和COLMAP，再查训练参数，最后才怀疑软件环境。
4.3 我踩过的几个典型现场（案例）
第一个典型案例是我扫描一盆绿植。植物叶片薄、边缘多、遮挡复杂，COLMAP对这些区域的特征匹配本来就不稳定。第一次训练结果从正面看细节很漂亮，但把视角稍微抬高，叶片边缘就出现大量半透明“毛边”，像叶片在掉絮。原因是我拍摄时太贴近植物，大量叶片只出现在少数视角中，其余视角没有对应约束。解决办法是后退一段距离，让每片叶子至少在六七个视角里都完整出现，重新拍摄后才好转。
第二个案例是地面反光。我扫描的角落里有一块光滑的桌面，桌面映出台灯的倒影，算法把倒影当成了真实颜色写进了高斯里。结果相机一转动，倒影位置在桌面上漂来漂去，看起来像桌面在流动。这个现象本质是3DGS对视角相关光照的表达能力有限，球谐系数只能粗略模拟漫反射加部分高光，做不到真正的镜面反射。我的处理办法是把桌面从抛光改成哑光状态再扫一遍，或者用遮罩单独分割高频反射区域，否则只能作为已知误差接受。
第三个案例让我印象最深：训练过程中loss下降得很漂亮，但渲染结果里出现了大量“半透明漂浮物”。我盯着预览图找规律，发现它们集中在背景边缘和物体边界。后来想明白是初始点云密度不够，背景的大块区域没有高斯覆盖，自适应密度机制在训练中段不断克隆，产出了一堆尺度很大的低透明度高斯来填补空白。把初始SfM点云抽稀参数调严、提高透明度修剪阈值之后，漂浮物数量大幅下降。这提醒我，3DGS虽然会自动增加高斯数量，但“种下”的初始点云质量直接影响最终模型收敛路径。
5. 如果还想更进一步：把静态场景变成可用资产
5.1 从离线复刻到可交互
拿到静态PLY模型只是一个开始，更实际的需求往往是把它变成可交互、可编辑、可进入其他工作流的数字资产。3DGS的优势在于显式表示，所以可以直接对高斯集合做编辑。比如用语义分割网络给每个高斯贴上一个标签，就能实现“选中椅子并移动它”的简单交互；或者把一部分高斯和动画骨骼绑定，用外力驱动它产生形变。市面上已经有不少开源项目和论文在做这类事情，把静态场景变成可交互动态场景不再是设想。
我在自己的项目里试过给场景加一个简单的“旋转木马”效果：把桌面上一个小摆件的所有高斯提取出来，围绕中心轴做刚体旋转。操作上就是先对场景做语义分组，把属于摆件的高斯挑出来，再用变换矩阵更新每个高斯的位置和旋转参数。整个过程跑得很顺，实时帧率没有明显下降。这背后靠的还是显式高斯的灵活可操作特性，换成NeRF做同样的事情会麻烦得多。
动态化是3DGS另一个活跃方向，比如让汽车开过街道、让人物从场景里走过。核心难点在于既要保持场景静态部分稳定，又要让动态物体在不同时刻有合理形状和遮挡。目前的主流做法是把场景分成静态高斯和动态高斯两组，分别训练位置和运动场，或者引入时间相关的变形场。无论哪种方案，都比单纯静态重建复杂一个量级，但一旦做通，从“复刻现实”到“导演现实”也就只差一步。
5.2 压缩、工程化与应用
真正要落地到产品里，还必须解决模型体积问题。一个几十平方米的场景动不动就是几百MB甚至上GB，直接塞进网页或者移动端显然不现实。好在针对3DGS的压缩研究进展很快，常见思路是把冗余高斯合并、把球谐系数和协方差参数化做量化，或者用熵编码进一步压缩。这些方法可以把模型压到原来的十分之一甚至更小，同时保持肉眼几乎不可见的画质损失。对做AR、VR、电商展示的人来说，这一项几乎决定技术能不能商用。
工程化上还有一个绕不开的问题：多尺度加载。大场景如果一次性加载几千万个高斯，再好的GPU也顶不住。目前行业里的主流思路是分层细节（LOD），把场景按空间划分成小块，再为每块生成不同精细度的表示。相机靠近时加载高精度块，远离时切换成粗粒度版本，这样内存占用和加载时间都能控制在可接受范围。这技术跟游戏里的Mipmap、八叉树层级加载思路是完全一致的。
在应用层面，3DGS已经出现在影视虚拟制片、文旅古迹数字化、工业设备巡检、电商VR展厅等领域。它能做的事情核心共性是：把物理世界的某个角落快速变成可多角度浏览的3D内容。对于小尺度、静态、光照稳定的场景，它的效果已经相当能打；对于大范围、动态、复杂光照的场景，仍然需要大量工程优化。我自己在做项目时最大的感受是，不要一上来就追求“全场景全动态”，先把可控静态场景跑通，再逐步加动态和交互，才是正路。
最后再说一个我自己的小经验。如果你用官方仓库训练3DGS，建议在跑正式场景前先用一个十张照片的小玩具场景把整个链路熟悉一遍。这样既能提前确认COLMAP版本、CUDA扩展和依赖环境没问题，又能快速观察不同参数的成像差异。等正式场景采集时心里有底，不至于拍了一下午照片、训了一晚上模型，最后发现是环境没配好。高斯泼溅这个技术最有意思的地方也在这里：它能在半小时内让你看到“像照片”的奇迹，但真正把它调教成“够用”的资产，还得靠一遍一遍踩坑。
