本文所有关键数据均标注来源(两篇论文 arXiv 原文 / 官方发布页),文末附来源清单。
1. 开头:一个被反复验证的矛盾
具身智能圈这两年最常被问到的一个问题是:为什么大语言模型能靠「一个模型、全网数据、微调适配」通吃 NLP,而机器人策略却始终卡在「换一台机器就要重训、换一个任务就要重采」的怪圈里?
这个问题的难点不是算法,而是数据形态。语言模型的输出是一个个离散 token,而机器人的输出是一串每秒 20~50 次的连续电机指令——前者天然适配自回归,后者在高频、接触丰富的灵巧任务上会把离散化方案的精度与延迟逼到墙角。2024 年底到 2025 年初,两个最受关注的通用 VLA(Vision-Language-Action)基础模型几乎同时给出了各自的答案:Physical Intelligence 的 π0(arXiv 2410.24164)和NVIDIA 的 GR00T N1(arXiv 2503.14734)。
有意思的是,两者都选择了 Flow Matching 作为动作生成头,却把「视觉-语言语义」与「动作」之间的信息流设计成了两条截然不同的路线。本文就把这两条路线拆开,讲清楚它们分别「为什么这样设计」,以及各自适合什么场景——结论先说在前面:没有绝对优劣,只有适用边界的不同。
举个具体的对照:同样一个「把桌上碗盘收进桶里」的指令,π0 倾向在单次前向里把视觉语义和 50 步动作一并算出来,端到端延迟极低,适合需要连续高频微调的折叠、装配;GR00T N1 则让慢速的 System 2 先把场景和指令「想清楚」,再由 120Hz 的 System 1 把计划翻译成动作,适合需要较强语言跟随与多步规划的任务。起点不同,但终点都是「听得懂话、做得了活」的通用操作策略。
2. 两条路线共同要啃的硬骨头
在对比之前,先统一一个背景。主流 VLA 早先沿用了 RT-2 奠定的「动作即文本 token」范式:把每个动作维度离散化(分箱)成 token,再用自回归逐 token 解码。这条路线有两个结构性瓶颈(π0 论文对此有专门论述,arXiv 2410.24164 §I):
- 频率与延迟受限:自回归串行解码,输出未来一段动作块时 token 序列成倍变长,难以达到灵巧任务所需的高控制频率;
- 精度受限:连续动作硬分箱会损失精细操作所需的数值分辨率,且天然不适配「一次预测一整段平滑轨迹」的动作分块(action chunking)思路。
π0 与 GR00T N1 都不约而同地放弃了自回归离散化,改用连续生成(Flow Matching / Diffusion 类)直接产出动作块。但在这之后,二者如何组织「语义理解」与「动作生成」的关系,走上了分叉口。
机器人想复制 NLP「预训练+微调」的范式,要过三道坎(arXiv 2410.24164 §I)。第一,数据无法爬取——语言语料能从互联网 scrape,机器人演示却必须有人去遥操作采集;第二,本体形态各异——单臂 UR5e 是 7 维动作,Franka 是 8 维,双臂/移动操作可达 14~16 维,一个共享动作向量必须靠零填充兼容;第三,输出是连续流——语言模型一秒吐一个离散 token,机器人却要每秒 20~50 次输出连续电机指令。前两道坎决定了「数据怎么来、怎么对齐」,第三道坎决定了「动作怎么生成」。π0 与 GR00T N1 的路线分叉,本质上就是对这三道坎给出了两套不同的工程回答。
3. 路线 A:π0 的「共享自注意力」一体式架构
图1 说明:Physical Intelligence 开源的 openpi 仓库。与 GR00T 一样,π0 也把代码与权重公开,两条路线在「开放程度」这一维度上实际差别不大。
图2 说明:π0 论文在 arXiv 的页面。π0 侧的数据以此原文与 Physical Intelligence 官方博客为准。
3.1 单一 Transformer,两套权重
π0 的骨架是一个 PaliGemma 3B VLM(SigLIP 400M 视觉编码器 + Gemma 2B 语言模型),在其上外挂一个约 300M 参数的「动作专家」(action expert),从头初始化。关键在于:二者并不独立成两个网络,而是放在同一个 Transformer 里,通过注意力掩码让 VLM 权重块与动作专家权重块共享自注意力(arXiv 2410.24164 §IV、Appendix B)。这类似于一种 MoE 式的双专家结构:图像/语言走 PaliGemma 权重,本体感知与带噪动作走动作专家权重,三者在一个序列内通过 blockwise causal 注意力交互。
图3 说明:π0 把 VLM 主干与动作专家嵌入同一 Transformer,靠共享自注意力完成信息融合;动作专家用 Flow Matching 一次性吐出 50 步动作块。
图4 说明:π0 论文原图(arXiv 2410.24164):左侧是预训练数据来源(π 自采数据集、互联网预训练、Open X-Embodiment),中间是 pre-trained VLM(SigLIP 400M + Gemma 2.6B)与 300M 动作专家,右侧输出对接 7 种不同本体的动作头——「一套权重 + 多本体动作头」的跨本体思路在图上很直观。
这种设计的好处是推理路径极短:语义理解和动作生成在单次前向里就完成了融合,昂贵的 VLM 前缀 KV 还能跨去噪步缓存(arXiv 2410.24164 Appendix D)。
具体看注意力掩码,π0 用的是 blockwise causal 结构,把序列分成三个块:[图像, 语言]、[本体状态]、[带噪动作]。块内双向注意力,靠前的块不能 attend 靠后的块——这意味着图像与语言的 KV 在多个去噪步之间是稳定的,可以只算一次就缓存复用,进一步压低延迟。动作专家与 VLM 之间正是通过这种受控的自注意力完成信息流动,而不是外部显式的特征拷贝。这也是它和 GR00T N1「cross-attention 从外部读取语义 token」在机制上的根本分野。
3.2 Flow Matching 动作专家与 50Hz 控制
动作专家用条件 Flow Matching(扩散的一种连续变体)直接从噪声迭代生成连续动作。论文报告:推理时用 10 步前向欧拉积分,在 RTX 4090 上车载实测单次动作块前向 73ms(含 14ms 图像编码、32ms 观测前向、27ms 流步),板外含网络 86ms(来源:arXiv 2410.24164 Appendix D,Table I)。模型一次输出 H=50 步动作块,对 50Hz 机器人每 0.5 秒推理一次、执行 25 步,从而支撑最高50Hz的高频灵巧控制(如叠衣服)。
需要解释一个常见疑问:π0 用的是 Flow Matching 而非更常见的 DDPM 扩散,差异到底在哪?二者都从噪声迭代去噪,但 Flow Matching 学习的是从噪声到数据的「向量场/速度场」,推理时只需很少的积分步就能收敛——π0 用 10 步前向欧拉即可;而 vanilla Diffusion Policy 常需 100 步以上去噪,延迟高一到两个数量级。对 50Hz 这种高频场景,去噪步数直接决定能否实时——这正是 π0 选 Flow Matching 的硬理由,而非风格偏好。也正因为动作是连续生成而非离散 token,它天然支持「一次预测一整段平滑轨迹」的动作分块,这是离散化方案做不到的。
3.3 数据策略:用真机小时数堆出泛化
π0 走的是「横向把真机数据做厚」的路线。预训练混合数据包含超过 10,000 小时跨本体遥操作数据,覆盖7 种机器人构型、68 个任务,外加 Open X-Embodiment(22 台机器人)、Bridge v2、DROID 等开源数据,其中开源数据占混合比例的9.1%(来源:arXiv 2410.24164 §V)。其哲学是:泛化来自于大规模、跨本体的真实采集,而非靠合成数据补齐。代价也很直白——上万小时真机遥操作的数据采集成本极高。论文还给出 π0-small(470M、无 VLM 初始化)的消融实验:即便参数更小,因继承了 VLM 的语义先验,仍在不少任务上超过 OpenVLA(7B)与 Octo(93M),说明「用 VLM 当底座」不是锦上添花,而是泛化的关键杠杆(arXiv 2410.24164)。这也反过来佐证:π0 路线的护城河,既是数据,也是那一层预训练语义。
4. 路线 B:GR00T N1 的「cross-attention 解耦」双系统
图5 说明:GR00T N1 论文 arXiv 页面(arXiv:2503.14734),路线 B 的数据来源。
4.1 快慢脑分工
GR00T N1 借鉴了人类「系统 1/系统 2」的认知分工,把策略显式拆成两个系统(arXiv 2503.14734;NVIDIA GTC 2025 发布稿):
- System 2(Eagle-2 VLM):负责视觉-语言理解与推理规划,低频「慢思考」,运行频率10Hz,约 1.34B 参数;
- System 1(DiT + Flow Matching):负责把 System 2 的语义计划翻译成连续动作,高频「快执行」,运行频率120Hz。
图6 说明:GR00T N1 把「想」与「做」分到两个系统,System 1 通过 cross-attention 读取 System 2 的语义表征。
4.2 Cross-attention 解耦连接
与 π0 把两套权重塞进同一自注意力不同,GR00T N1 的 System 1 与 System 2 是解耦的两个模块:System 1 的扩散 Transformer 通过cross-attention去读取 System 2 输出的语义 token,而非共享同一组自注意力(arXiv 2503.14734 §3,原文记为 cross-attending to the VLM output tokens)。论文报告 System 1 单次 16 步动作块采样63.9ms(L40,bf16,K=4 欧拉去噪),整体模型 2.2B 参数。
更工程化的一点是,GR00T N1 用embodiment 专属的 MLP 编码器/解码器处理变长本体状态与动作维度(按 embodiment ID 索引、零填充到统一长度),这让同一套权重能直接覆盖从 Franka 单臂到傅利叶 GR-1 人形的不同构型,而不必像 π0 那样为每种本体重新设计动作向量——这是「cross-embodiment 通用模型」口号能落地的关键机制(来源:arXiv 2503.14734;HF 模型卡)。换句话说,cross-attention 解耦 + 专属 MLP 适配器,让「换本体」变成改一个轻量头部,而不是重训主干。
这种解耦的架构价值在于可独立演进:VLM 主干与动作头可以分别升级,而不必重构整个网络。(N1 之后英伟达陆续迭代了若干版本,各版本替换的 VLM 型号请以官方仓库与模型卡为准,本文不逐一列举。)
4.3 数据金字塔:少真机、多合成
GR00T N1 的数据策略与 π0 正好相反,是一套「纵向」的数据金字塔(arXiv 2503.14734):
- 基座层:无动作标签的人类第一视角视频,通过 VQ-VAE 潜在动作编码 + 逆动力学模型,转成可训练的「伪本体」;
- 中间层:用 DexMimicGen 仿真 + 神经轨迹生成,把88 小时真机数据放大到827 小时;
- 顶层:真机遥操作 + Open X-Embodiment + AgiBot-Alpha。
论文一个关键结论是:仅用 10% 真机数据做后训练,模型仍能保持强性能(arXiv 2503.14734)。这把「真机采集贵」的痛点用「合成数据 + 潜在动作桥接」绕了过去,代价是对合成数据质量高度敏感(论文自述局限之一)。金字塔底座的人类视频近乎免费、规模近乎无限,这正是它敢把真机占比压到 10% 的底气;但逆动力学模型把无标签视频翻译成「伪动作」时必有误差,且会沿金字塔向上累积——所以论文把「合成数据质量」列为首要局限,并非客套,而是这条路线的真实天花板。
5. 五维对比:把差异摆到一张表里
下面用一张表把两条路线的核心差异并列,所有数据均附出处。
| 对比维度 | π0(路线 A) | GR00T N1(路线 B) | 数据出处 |
|---|---|---|---|
| 模型架构 | 单一 Transformer,VLM 权重 + 动作专家权重共享自注意力(MoE 式) | 双系统,cross-attention 解耦连接 System 2 与 System 1 | π0: arXiv 2410.24164 §IV;GR00T: arXiv 2503.14734 |
| 控制频率 | 最高50Hz(动作块 H=50,50Hz 机每 0.5s 推理一次) | System 1120Hz,System 2 10Hz(动作块 16 步) | π0: arXiv 2410.24164 App. D;GR00T: arXiv 2503.14734 §3 |
| 动作生成 | 条件 Flow Matching,10 步欧拉,单次 73ms(RTX 4090) | DiT + Flow Matching,K=4 欧拉,单次 63.9ms(L40 bf16) | π0: arXiv 2410.24164 Table I;GR00T: arXiv 2503.14734 §3 |
| 参数量 | 总计3.3B(PaliGemma 3B + 动作专家 300M) | 总计2.2B(VLM 约 1.34B) | π0: arXiv 2410.24164;GR00T: HF 模型卡(safetensors 元数据) |
| 数据策略 | 横向:>10,000h 真机(7 构型/68 任务)+ 开源数据(9.1%) | 纵向数据金字塔:人类视频→仿真/神经轨迹 88h→827h→真机+OXE+AgiBot | π0: arXiv 2410.24164 §V;GR00T: arXiv 2503.14734 |
| 开源程度 | 全开源:openpi 仓(Apache-2.0),含训练/推理代码与开放权重,π0/π0-FAST/π0.5 | 权重开放(HuggingFace nvidia/GR00T-N1-2B)+ Isaac-GR00T 框架与后训练脚本;原 N1 权重采用 NVIDIA 开放模型许可,商用前须核对模型卡上的最新条款 | π0: openpi README;GR00T: HuggingFace 模型卡 |
图7 说明:左为 π0 的「共享自注意力」一体式,右为 GR00T N1 的「cross-attention 解耦」双系统——本质差异在于语义与动作之间的信息如何流动。
图8 说明:左为 π0 横向堆真机规模,右为 GR00T N1 纵向数据金字塔;两种策略对应不同的成本结构与泛化假设。
关于上表数字的可比性,要先说清楚一件事:两篇论文的评测任务、机器人本体与计分规则都不相同,π0 的 73 ms 是在 RTX 4090 上跑自家动作专家测得的,GR00T N1 的 63.9 ms 是在 L40 上跑 16 步动作块测得的,两者动作块长度(50 步 vs 16 步)也不一致。所以这张表适合用来理解"各自的设计取舍",不适合用来判定"谁更快"。真要选型,应在自己的本体与任务上跑一遍同口径基准——这也是 §7 给出可复现路径的原因。
把上表翻译成「选型决策」,可以给开发者一个粗略的参照:如果你的团队已经积累了相当规模的同构型真机数据,且任务对控制频率(如需要 50Hz 级精细接触)要求高、希望推理延迟尽可能短,π0 的一体式短路径更省心——它把语义与动作压进单次前向,工程链最简洁。如果你的目标是快速把模型搬到一个新本体(例如从双臂桌面换到人形),且真机采集预算有限、愿意用仿真与视频数据补足,GR00T N1 的「双系统 + 专属 MLP 适配器 + 数据金字塔」能显著降低跨本体适配与数据成本,代价是你要接受对合成数据质量的依赖,并留意原版权重的许可边界。两条路线也并非互斥。解耦架构的好处是模块可组合,理论上可以把一家的跨本体底座与另一家的高频动作头拼起来用;不过这只是架构层面的可能性,本文没有可引用的公开落地案例,真要这么做需自行验证接口与控制时序能否对齐。
6. 局限与冷静分析(双方都写)
客观起见,两条路线都有论文自述或隐含的风险,不能只讲亮点:
π0 侧:
- 论文自述其评测以内部任务与自定计分规则为主,跨论文横向对比需谨慎(评测结果属作者自报,尚无大规模第三方独立复现);
- 数据高度依赖万小时级真机采集,对资源有限的研究者/中小团队门槛高;
- 动作块以开环方式执行(论文发现时序集成 temporal ensembling 反而损害性能,故弃用),对突发扰动的在线纠正能力有限。
GR00T N1 侧:
- 论文自述局限包括短时程桌面操作与合成数据质量依赖(arXiv 2503.14734);
- 原 N1 权重采用 NVIDIA 开放模型许可,商用前须核对官方模型卡的最新许可条款,或自担风险;
- 数据金字塔的「伪本体」依赖潜在动作编码与逆动力学模型的准确性,合成数据一旦失真会系统性带偏策略。
由此可见,两条路线都不是「银弹」:需要高频精细、且具备真机数据积累能力的团队,π0 的一体式短路径更顺手;需要快速跨本体适配、真机采集受限的团队,GR00T N1 的金字塔 + 双系统更友好。
再补一句工程视角的提醒:π0 的强项(短延迟、高频)依赖你手里有接近它预训练分布的本体与数据;若你的机器人形态偏离 7 类训练构型较远,单靠微调未必能立刻复现论文里的灵巧度,往往需要补采。GR00T N1 的强项(跨本体、少真机)则依赖你搭得起数据金字塔的合成链路——潜在动作编码器和逆动力学模型的训练本身也是一道工程门槛。选路线前,先盘一眼自己手里「数据」和「本体」两张牌,比单纯追 SOTA 数字更务实。
7. 落回启元语境:开源 VLA + 启元 Q1/T1 的复现路径
图9 说明:启元机器人在 AtomGit 的组织主页。国内镜像仓对开发者的实际意义是下载速度与可达性,这一点在拉取 URDF 这类含大量 STL 网格的仓库时尤其明显。
作为启元机器人征文,必须把技术路线接回开发者可落地的场景。两条开源 VLA 都提供了可复现的入口,而启元 Q1/T1 的开源资料包正好能补上「本体与仿真」这一环:
7.1 用开源 VLA 作为起点
- π0 侧:克隆
Physical-Intelligence/openpi(Apache-2.0),其提供 JAX / PyTorch 两套训练入口与预训练权重,可在自有数据上微调; - GR00T N1 侧:使用 NVIDIA
Isaac-GR00T框架(GitHub)与 HuggingFacenvidia/GR00T-N1-2B权重,后训练脚本兼容 LeRobot 数据格式。
7.2 用启元 Q1/T1 本体与仿真做「目标平台」
启元已开放 Q1/T1 的 ROS2 二次开发 SDK(primebot-q1-sdk/primebot-t1-sdk,v1.0.0.0,GitHub 与 AtomGit 双仓),以及V3.0 URDF 包(含自由度连杆模型、STL mesh、MuJoCo XML、RViz/Gazebo launch)。开发者可把 VLA 输出的动作(相对/绝对末端位姿或关节目标)桥接到启元本体的关节空间,在 Gazebo/MuJoCo 仿真中先验证策略,再上真机。
7.3 一条可执行的复现草图
- 从 openpi 或 Isaac-GR00T 拉取基础权重;
- 用启元 URDF 在仿真中生成/采集目标构型的遥操作或专家轨迹(可借 PrimeHub dev kit 的动作录制链路);
- 按 LeRobot / openpi 数据格式对齐状态-动作维度,做后训练;
- 在仿真中零样本/少样本评测,再上启元真机微调。
7.4 动作空间对齐的两个具体坑。其一,VLA 原生多在「相对末端位姿增量(delta EEF)」或「关节目标」空间输出,而启元 Q1/T1 的 URDF 给出的是带连杆自由度的关节空间,需要做末端到关节的逆运动学(IK)映射;后续 GR00T 版本逐步统一到 relative EEF 表示(以官方最新仓库为准),这类相对位姿输出与跨本体迁移更友好,可优先参考。其二,控制频率要对齐——π0 的 50Hz 动作块需按启元控制器的伺服周期切分播放,避免动作块在仿真与真机间因时间基准不一致而漂移。这两点建议在仿真阶段就用 MuJoCo/Gazebo 验证闭环,再上真机。
图10 说明:启元开发者社区资料下载页(dev.primebot.com/download)。上面 7.1–7.3 节所需的 SDK、URDF 与工具链都从这里按机型分发——复现路径的第一步就是把这个资料包拉到本地。
需要说明:截至目前,是否已有「启元 Q1/T1 + 开源 VLA」的官方端到端微调示例教程尚待确认,本文给出的是一条工程可行路径,而非已发布的成品方案。
8. 总结
π0 与 GR00T N1 代表了 VLA 基础模型在「语义-动作融合方式」上的两条清晰路线:π0 用共享自注意力把一切压进单次前向,换来短延迟与高频(50Hz);GR00T N1 用cross-attention 解耦的双系统把「想」与「做」分开,换来 120Hz 高频动作与模块可独立演进。数据上,前者横向堆真机规模、后者纵向造数据金字塔。对开发者而言,二者都已开放可用,配合启元 Q1/T1 的开源 SDK 与 URDF,完全存在一条「开源 VLA + 国产本体仿真/真机」的复现路径。
技术选型时不必站队:看你的真机数据储备、控制频率需求与跨本体适配范围,两条路线各有最优解。
如果你也在启元机器人上做二次开发,欢迎到启元机器人开发者社区 https://dev.primebot.com/ 交流,那里有官方文档、SDK 仓库入口和开发者讨论区。文中若有不准确的地方,也欢迎在仓库提 Issue 指出来。