论文题目：Ponder: Point Cloud Pre-training via Neural Rendering（Ponder：通过神经渲染进行点云预训练）
会议：ICCV 2023
摘要：我们提出了一种通过可微神经渲染对点云表征进行自监督学习的新方法。该方法受到以下观点的启发：具有信息量的点云特征应当能够编码丰富的几何和外观线索，并渲染出逼真的图像。为此，我们构建了一个基于点的神经渲染器，在海量 RGB-D 数据上比较渲染图像与真实图像，并在这一过程中训练点云编码器。学习到的点云编码器可以方便地集成到多种下游任务中，不仅包括三维检测与分割等高层任务，还包括三维重建和图像合成等低层任务。在多个任务上开展的大量实验表明，与现有预训练方法相比，该方法具有更优的表现。
一、研究背景与核心问题
1.1 点云预训练为什么需要新的学习目标？
三维点云的人工标注成本较高，因而如何利用大规模无标注数据学习通用特征，一直是三维视觉的重要问题。已有点云自监督学习主要沿着两条路线发展：对比学习通过不同增强视图之间的特征一致性学习不变表示，补全式学习则通过恢复被遮挡的点或几何结构迫使网络理解场景。但前者依赖合适的数据增强和样本关系，后者往往更直接地强调几何恢复，未必充分利用 RGB-D 数据中的外观信息。
Ponder 提出了另一种预训练思路：如果点云特征真正理解了场景，那么它应当支持从指定视角重新渲染出对应的颜色与深度图像。
论文 Figure 2：对比学习、补全式预训练与 Ponder 的学习目标对比
Figure 2 直观展示了三种路线的区别：对比学习关注增强样本的表示一致性，补全式方法关注点云恢复，而 Ponder 则采用“点云编码 → 三维特征体 → 神经渲染 → RGB-D 监督”的闭环。
二、Ponder 方法整体框架
论文 Figure 3：Ponder 点云预训练的整体流程
Ponder 的完整处理过程可以概括为：
多视角 RGB-D → 反投影构建彩色点云 → 点云编码器 → 三维特征体 → SDF / RGB 解码 → 可微渲染 → RGB-D 重建损失。
首先，模型利用多帧 RGB-D 图像、相机内参和位姿，把二维像素反投影到统一的三维坐标系，构建带有颜色信息的点云。接着，点云编码器提取逐点特征，并通过体素聚合及三维卷积构建场景特征体。最后，模型沿目标相机视角发射射线，查询隐式场景表示并渲染出颜色图和深度图，将其与对应真实图像进行比较。
值得注意的是，预训练后真正要迁移的是点云编码器。神经渲染模块在预训练过程中提供学习信号，不意味着所有下游检测和分割任务都必须额外运行一遍渲染器。
三、从 RGB-D 到可渲染的三维场景表征
3.1 构建带颜色的点云并提取特征
设输入为 N 个 RGB-D 视角及其相机参数。作者将各视角反投影后的点集合并：
其中，Iᵢ、Dᵢ 分别是颜色图和深度图，Kᵢ 为相机内参，ξᵢ 为相机外参，π⁻¹ 表示反投影操作；fₚ 是需要预训练的点云编码器，输出逐点特征 E。
3.2 为什么要构建三维特征体？
逐点特征通常是稀疏且不规则的，而神经渲染需要在射线经过的任意三维位置连续查询场景信息。Ponder 因此先通过平均池化将点特征放入三维网格，再使用 U-Net 风格的 3D CNN 聚合邻近特征并填充空区域，形成特征体 V。查询任意三维坐标 p 时，可以通过三线性插值得到 V(p)。
3.3 利用 SDF 与颜色解码器表示场景
Ponder 使用符号距离函数（Signed Distance Function，SDF）表示隐式几何，并利用颜色解码器建模外观：
这里，s(p) 描述查询点相对于物体表面的有符号距离，c(p,d) 是在位置 p、观察方向 d 下的颜色。几何解码器和颜色解码器由不同场景共享，具体场景的信息则由其特征体 V 提供。
四、可微神经渲染与预训练损失
4.1 从隐式场景得到 RGB-D 图像
给定相机中心 o 和射线方向 d，沿射线采样 p(z)=o+zd。作者通过射线与三维特征体包围盒的相交结果确定近、远采样边界，并遵循 NeuS 的思路构建与 SDF 相关的体渲染权重 ω(z)。渲染颜色和深度分别为：
其中，Ĉ 为渲染颜色、D̂ 为渲染深度，ω(z) 决定每个空间采样点对最终像素的贡献。由于渲染过程可微，RGB-D 重建误差能够沿着颜色 / 几何解码器、特征体和点云编码器一路反向传播。这里真正重要的是：点云编码器必须输出足以支持新视角颜色与深度预测的特征。
论文 Figure 4：ScanNet 验证集上的投影点、渲染 RGB/深度及对应真实图像
Figure 4 展示了稀疏观测与渲染结果的对照。尽管输入点云比较稀疏，模型仍能恢复与参考图像较为接近的颜色和深度结构，这提供了神经渲染监督能够起作用的直观证据。
4.2 五种损失分别约束什么？
作者的总目标由五部分组成：
其中，颜色损失 Lc和深度损失 Ld直接比较渲染结果与真实 RGB-D；Eikonal 损失 Le约束 SDF 梯度模长接近 1，维持距离函数的几何性质；近表面损失 Ls使用深度观测提供近似 SDF 监督；自由空间损失 Lf则抑制相机与真实表面之间不合理的几何预测。作者以 b(z)=D−z 构造射线上的近似距离监督，并设置阈值 t=0.05 划分相关约束。
论文使用的损失权重为 λc=10、λd=1、λe=0.01、λs=10、λf=1。Eikonal 权重刻意设得较小，因为作者观察到它过强时容易产生过度平滑的重建。这五项损失不是简单堆叠：颜色与深度负责观测一致性，SDF 相关约束负责让渲染背后的几何结构更加稳定。
五、实验结果与消融分析
5.1 预训练设置与评测任务
Ponder 在 ScanNet 的 RGB-D 数据上预训练。每个训练样本从场景视频中选取间隔为 20 帧的 5 个 RGB-D 视角，反投影后随机采样 20,000 个点；训练 batch size 为 8，采用 AdamW，预训练 100 个 epoch。渲染过程中每幅图像随机选择 128 条射线，每条射线采样 128 个点。下游评测覆盖 ScanNet、SUN RGB-D 上的三维检测，ScanNet 上的语义分割，SISD 上的场景重建，以及 DTU 上的图像合成。
5.2 三维目标检测：是否能提升成熟的检测模型？
论文 Table 1：ScanNet 与 SUN RGB-D 上的三维目标检测及预训练方法对比
以 VoteNet 为基线，Ponder 将 ScanNet 的 AP50 从 33.5 提升到 41.0，提升7.5 个百分点；SUN RGB-D 从 32.9 提升到 36.6，提升3.7 个百分点。ScanNet 的 AP25 也达到 63.6。对比表中还包含多种对比式和补全式预训练方法；Ponder 在这一实验设定下取得了较有竞争力的检测精度，并且预训练轮数为 100。需要注意，跨方法骨干网络与训练配置并不完全一致，不能把所有差异都归因于单一预训练目标。
论文 Table 2：在更强的 H3DNet 检测器上迁移 Ponder
Ponder 不只对 VoteNet 有效。迁移到 H3DNet 后，ScanNet 的 AP50 从 48.1 提升至 50.9，AP25 从 67.2 提升至 68.4。这说明神经渲染预训练得到的点云特征，能够继续为较强的检测框架提供有效初始化。
5.3 三维语义分割：对体素型骨干是否有效？
论文 Table 3：ScanNet 语义分割 mIoU 对比
将预训练迁移到稀疏卷积骨干 MinkUNet 后，ScanNet 验证集的 mIoU 由 72.2 提升到 73.5，即+1.3 个百分点。这一结果与检测实验互相补充：Ponder 并不局限于 PointNet++ 一类的逐点编码器，也适用于基于稀疏体素卷积的三维表征学习。
5.4 三维重建与图像合成：低层任务能否受益？
论文 Table 4：SISD 场景重建的 IoU、Normal Consistency 与 F-Score
在 ConvONet 风格的场景重建任务中，Ponder 将 IoU 从 77.8 提升到 80.2，并取得 89.3 的 Normal Consistency 和 92.0 的 F-Score。相比之下，表中的 IAE 在 IoU 上没有改善 ConvONet 基线。这组结果很重要，因为它说明 Ponder 学到的不只是服务于语义判断的高层特征，也包含可用于恢复几何表面的信息。
论文 Figure 5：DTU 上的点云图像合成对比
作者以 Point-NeRF 为图像合成基线，在可泛化设置下迁移预训练的 DGCNN 编码器和颜色解码器。Figure 5 显示，相比从零训练，使用 Ponder 初始化可以更快收敛，并获得更好的最终图像合成质量。该结果以曲线和视觉效果为主要证据，正文不额外臆造 PSNR 数值。
5.5 监督信号与数据增强：收益来自哪里？
论文 Table 5：颜色监督、深度监督及两者联合使用的消融
仅采用深度监督时，ScanNet 的 AP50 为 40.9；仅采用颜色监督为 40.5；同时使用两者达到 41.0。SUN RGB-D 上联合监督达到 36.6，也优于单独使用颜色或深度。可见，几何监督是重要来源，而颜色信息提供了补充，这与论文同时建模 SDF 和外观的设计动机一致。
论文 Table 6：不同点云 Mask Ratio 对检测性能的影响
作者还测试了 0% 到 90% 的随机 Mask 比例。ScanNet 上 75% Mask 对应最高 AP50 = 41.7，但即使完全不做 Mask，AP50 仍达到 40.7。值得注意的是，SUN RGB-D 的最高数值出现在 0% Mask（37.3），而非 75%。这说明 Mask 是可以调整的增强策略，并非 Ponder 学习能力成立的必要条件，也不存在对所有数据集都统一最优的比例。
5.6 特征体分辨率与多视角数量
论文 Table 7：三维特征体分辨率的消融
将多分辨率 16+32+64 的特征体简化为分辨率 16，ScanNet AP50 从 41.0 小幅下降到 40.7；SUN RGB-D 则均为 36.6。
论文 Table 8：预训练输入视角数量的消融
从单视角增加到五视角，ScanNet AP50 从 40.1 提升至 41.0，SUN RGB-D 从 35.4 提升至 36.6。
5.7 不经下游微调的表面重建
论文 Figure 6：稀疏点云输入与直接重建的三维表面
除迁移到 ConvONet 外，作者还展示了预训练框架本身的几何重建能力：直接查询学习到的 SDF，并使用 Marching Cubes 提取表面网格。在仅保留约 2% 输入点的可视化示例中，模型仍能够恢复一定的复杂几何细节。Figure 6 与 Table 4 的含义不同：前者强调预训练场景表示自身可用于重建，后者检验预训练初始化对独立下游重建模型的帮助。
六、总结与思考
Ponder 最核心的贡献，是把点云自监督学习从“比较特征是否一致”或“检查局部几何能否补全”，扩展到**“学习到的点云特征能否支持场景的可微渲染”**。通过彩色点云编码、三维特征体、共享的 SDF / RGB 解码器，以及 RGB-D 重建监督，模型同时吸收了几何和外观信息。
从实验看，Ponder 的价值主要体现在两个方面：一是能够为目标检测与语义分割等高层任务提供更好的初始化；二是这种初始化还能迁移到场景重建与图像合成等低层任务，说明渲染式预训练的目标与三维场景表征具有较强关联。不过，神经渲染训练链路也引入射线采样、三维特征体和隐式解码等额外计算，最终训练成本与应用规模仍值得进一步评估；这一点属于从工程实现角度的思考，而不是论文给出的定量效率结论。
如果把这篇论文压缩成一句话：Ponder 不直接告诉点云编码器应该学成什么样，而是要求它学到的特征能够“重新看见”整个三维场景，再将这种能力迁移到不同任务。
