腾讯混元发布P3-SAM：AI实现三维物体智能拆解新突破

腾讯混元发布P3-SAM：AI实现三维物体智能拆解新突破

【免费下载链接】Hunyuan3D-Part腾讯混元3D-Part项目地址: https://ai.gitcode.com/tencent_hunyuan/Hunyuan3D-Part

🧩 一、引言：三维视觉理解的关键跨越 在计算机视觉的三维理解领域，部件级分割始终是一项极具挑战性的核心任务。这项技术要求AI系统不仅能够识别完整的三维物体，更要深入理解其内在的结构组成，将物体自动分解为具有语义一致性的各个部件——例如将家具拆分为桌面、桌腿和抽屉，把机械装置分解为齿轮、连杆和轴承等。以往的解决方案主要存在三种依赖：一是依靠人工标注的数据集进行监督学习，如PartNet、ShapeNet等；二是通过2D投影迁移方法，将3D模型渲染成多视角图像后利用2D模型进行推断；三是需要人工输入部件数量或提示点的半自动提示方式。然而这些方法普遍面临着三大难题：二维与三维之间存在显著的域差异、多视角融合容易产生遮挡和边界不一致问题、以及无法实现完全自动化，导致交互成本较高。为了突破这些技术瓶颈，腾讯混元团队（Tencent Hunyuan）推出了一项重要研究成果——Point-Promptable Part Segment Anything Model（P3-SAM），这是一个原生3D且可自动执行部件分割的智能系统。该系统无需进行渲染，也不需要人工提示，就能直接对任意复杂的三维模型实现高精度、强鲁棒性的结构拆解。

🚀 二、模型概述：创新的三维原生与点提示驱动机制 P3-SAM的研发受到了Segment Anything Model（SAM）的启发，但与之有着本质区别，它完全在原生的三维空间中运行，不依赖任何二维渲染或图像特征迁移技术。

✳️ 模型输入输出特性 输入方面：系统支持三维点云或带有法线信息的网格模型作为输入数据 输出方面：能够生成具有语义一致性的部件掩码集合（Part Masks） 提示机制：仅需要一个三维坐标点作为提示（Single Point Prompt）即可启动分割过程

⚙️ 核心架构组成详解 P3-SAM系统由三大核心模块构建而成：

1. 特征提取器（Feature Extractor） 采用基于PointTransformerV3（Sonata）的多尺度几何特征网络；能够从点云中同时提取局部与全局特征，生成512维的点级特征；并且支持封闭与非封闭网格的混合输入模式。

2. 双阶段多头分割器（Two-Stage Multi-Head Segmentor） 第一阶段：通过三个并行的MLP预测多尺度掩码； 第二阶段：引入全局特征反馈机制，对初始掩码进行优化处理； 每个阶段都会输出三个候选掩码，分别代表不同层级的部件粒度。这种创新结构使模型能够在不同尺度层面有效捕获几何细节与整体结构的一致性。

3. IoU预测头（IoU Predictor） 该模块负责预测每个掩码与真实掩码之间的交并比（IoU）；能够自动评估掩码质量并选择最佳结果；有效提升了自动分割的稳定性与精确性。

如上图所示，该架构图清晰展示了P3-SAM的三大核心模块及其协同工作流程。这一技术架构充分体现了P3-SAM原生3D处理的优势，为从事三维视觉研究的人员提供了直观的模型结构参考。

🏗️ 三、数据基础：超大规模原生3D训练数据集构建 为了训练出真正能够理解三维结构的智能模型，腾讯混元团队构建了一个超大规模的原生3D数据集。

📚 多元化数据来源 该数据集整合了Objaverse、Objaverse-XL、ShapeNet、PartNet以及混元内部3D模型库等多个来源的数据，最终包含约370万个三维对象，其中约230万个为watertight封闭模型。

🧮 精细化数据处理流程 团队采用了一系列先进的数据处理技术：基于连通分量分析进行初步分割；通过面积过滤合并面积小于1%的小部件；利用体素邻接合并建立部件邻接图并进行迭代融合；实施几何修复操作，包括自动封闭、去重与法线重建；以及将非封闭版本的标签映射到封闭模型点云的标签投射技术。通过这种自动化处理管线，使模型在真实建模数据与生成模型之间具备了强大的泛化能力。

🤖 四、全自动分割流程解析 P3-SAM的全自动分割流程设计精巧，主要包括以下步骤：首先进行点云采样与法线提取；使用最远点采样（FPS）方法获取一组提示点；对每个提示点运行分割网络，得到多个掩码与IoU评分；应用NMS（非极大值抑制）算法去除重复掩码；执行Flood Fill算法对未覆盖区域填充标签；最终输出每个面的部件标签，实现物体的完整拆解。这一处理管线完全自动化，无需人工输入部件数量或类别信息。其输入为任意三维网格模型M，输出则是部件掩码集合{m₁, m₂, …, mₙ}，平均推理时间为每个模型8秒。

🧪 五、实验结果：全面领先的性能表现 🔬 严谨的实验设置 实验采用了PartObj-Tiny、PartObj-Tiny-WT、PartNetE等多个数据集，测试任务包括全分割（Full Segmentation）、连通分割（With Connectivity）和交互分割（Interactive Segmentation）。

📊 对比结果分析 | 方法 | 数据来源 | 参数量 | 自动化 | mIoU (AVG) | |------|----------|--------|--------|------------| | Find3D | 2D 数据引擎 | 46M | ✖ | 21.28% | | SAMPart3D | 2D 数据引擎 | 114M | ✖ | 53.47% | | PartField | 2D 数据引擎 | 106M | ✖ | 53.93% | | Point-SAM | 2D 提示模型 | 311M | ✖ | 27.91% | | P3-SAM（Ours） | 原生 3D | 112M | ✅ | 81.14% |

实验结果显示，P3-SAM在非封闭网格、封闭网格和点云场景下均取得了最优表现。与同类模型相比，它不仅速度更快、精度更高，还具备对复杂几何结构的强鲁棒性。

💡 突出的性能亮点 P3-SAM在交互分割方面延迟仅为3ms，非常适合实时应用场景；自动全分割平均耗时仅8秒；即使对于无连通性数据（如扫描网格），依然能够保持稳定的分割效果。

🔍 六、模型应用与拓展前景 P3-SAM的能力不仅局限于基础的分割功能，更为3D内容生成与理解提供了全新的结构基础。

1️⃣ 多点提示分割（Multi-Prompt Segmentation） 该功能支持用户进行交互控制，通过多点提示可以实现部件的合并或细分操作，非常适用于三维编辑器与交互设计工具等应用场景。

2️⃣ 层级化分割（Hierarchical Segmentation） 系统能够通过特征聚类生成层级结构，这一功能可用于装配关系分析、动画骨骼分解等专业领域。

3️⃣ 部件级生成（Part Generation） 为HoloPart、OmniPart等生成模型提供精确的掩码支持，支撑"从整体到零件"的生成控制方式，实现三维结构级可编辑内容生成。

🔬 七、消融研究：关键结构设计的有效性验证 腾讯混元团队对模型的关键模块进行了全面的消融分析：

研究结果表明：双阶段结构显著提升了掩码的一致性；全局特征优化有效提高了复杂几何的边界精度；IoU预测模块是实现自动掩码筛选的关键因素。

⚠️ 八、局限与未来发展方向 尽管P3-SAM已经取得了显著的技术进展，但团队也客观指出了现阶段存在的限制：目前模型主要依赖表面几何信息，缺乏对体积层次的深入理解。未来的研究方向将包括：探索基于空间体素与语义场（Field-based）的扩展、结合语言和多模态信息以实现语义层面的结构感知等。

🧠 九、结语：开启AI空间认知的新时代 P3-SAM的问世标志着三维理解技术迎来了范式转变——从依赖二维知识的"投影智能"，迈向真正意义上的"空间智能"。它使AI不仅能够"看懂"三维形状，更能够深入理解其组成、逻辑与结构关系。在未来，P3-SAM有望成为三维建模与工业设计自动化的基础技术、虚拟场景生成与数字孪生系统的关键模块，以及AI空间认知能力发展的重要里程碑。

📄 项目主页：https://murcherful.github.io/P3-SAM/ 📘 论文链接：arXiv:2509.06784v4 🏢 研发团队：Tencent Hunyuan（腾讯混元团队）

【免费下载链接】Hunyuan3D-Part腾讯混元3D-Part项目地址: https://ai.gitcode.com/tencent_hunyuan/Hunyuan3D-Part