2025 年 3 月,智元发布首个通用具身基座大模型 GO-1(Genie Operator-1),提出 ViLLA(Vision-Language-Latent-Action)架构。名字只比 VLA 多了一个 L,但这个 L 解决的是 VLA 最疼的一个问题:互联网上海量的人类视频没有动作标签,怎么才能喂给机器人模型?本文基于官方技术报告《AgiBot World Colosseo》(arXiv:2503.06669)做通俗解读。
▲ AgiBot World Colosseo 平台总览:100 台双臂人形机器人采集百万级轨迹,GO-1 在其上训练。图源:arXiv:2503.06669
一、传统 VLA 的尴尬:两头数据量级差太远
经典 VLA(如 RT-2、OpenVLA)的公式是:图像 + 语言指令 → 直接输出机器人动作。这条路有个结构性矛盾:
- 视觉-语言数据(图文对)互联网上有几十亿,随便用;
- 带动作标签的机器人数据,全世界加起来也就百万级。
中间的鸿沟,就是"看得懂"和"会动手"之间的鸿沟。人类视频里明明有海量的"干活经验",但因为没有关节角度、末端位姿这些标签,传统 VLA 一口都吃不下。
GO-1 的思路是:在 V(视觉)L(语言)和 A(动作)之间,插入一层"隐式动作"(Latent Action)作为中间语言——先把"画面发生了什么变化"抽象成一种与具体机器人无关的动作表示,再由它去驱动最终的机器人动作。这就是 ViLLA。
二、ViLLA 的三件套:LAM、Latent Planner、Action Expert
▲ ViLLA 架构图:LAM 从人类视频学隐式动作,Latent Planner 预测隐式动作 token,Action Expert 输出最终控制。图源:arXiv:2503.06669
第一件:Latent Action Model(LAM)——从视频里"榨"出动作
LAM 是一个编码器-解码器结构:编码器看相邻两帧画面,预测"这两帧之间发生了什么动作",压缩成 4 个离散的隐式动作 token(用 VQ-VAE 量化);解码器再根据第一帧 + 这些 token 重建出第二帧。关键在于,训练 LAM 不需要任何动作标签,只要视频——于是 Ego4D 这类互联网规模的人类视频,全部变成了可用的预训练语料。
第二件:Latent Planner(隐式规划器)——用 VLM 做"与本体无关"的规划
以 InternVL2.5-2B 为骨干,输入头部 + 左右腕三路图像和语言指令,输出的是隐式动作 token 而不是机器人关节角。因为隐式动作空间比 OpenVLA 那种离散化低层动作小几个数量级,VLM 改造成机器人策略的成本大幅降低;同时"隐式动作"本身不绑定任何机器人,天然支持一脑多形的跨本体迁移。
第三件:Action Expert(动作专家)——把规划翻译成精细动作
用扩散(diffusion)目标建模连续动作分布,一次解码未来 30 步(H=30)的动作块(action chunk),吃本体状态,输出高频、灵巧的低层控制。它和 Latent Planner 共享架构、逐层条件化,组成 MoE 式的双专家系统。
三个阶段串起来就是:LAM 在无标签视频上打动作基础 → Latent Planner 用隐式动作做通用规划 → Action Expert 在百万真机数据上练精细执行。
三、实验结果:数字说话
▲ GO-1 对比 RDT-1B 及去掉 Latent Planner 的消融版本。图源:arXiv:2503.06669
- GO-1 vs RDT-1B:在倒水、清理桌面、补货、叠短裤、擦桌子五个真机任务上,GO-1 平均成功率超出此前最优通用策略32%,复杂任务(叠短裤这类柔性物体操作)优势尤其明显;
- Latent Planner 的功劳:消融实验显示,加上隐式规划器平均带来0.12的完成度提升,在需要指令跟随的"Restock Beverage"任务上提升最大;
- 数据缩放定律:性能随预训练轨迹数呈可预测的幂律增长(Pearson 相关系数 r=0.97)——这意味着"继续堆数据就有继续的收益",路线是可持续的;
- 数据质量实验:人工核验过的 528 条微调数据,效果反超未核验的 482 条(+0.18),再次印证"质控即护城河"。
四、对开发者的三点启发
- "中间表示"是异构数据融合的钥匙。LAM 的隐式动作思路(学术脉络来自 Genie、LAPA)正在被越来越多的工作采用,读懂 GO-1 就看懂了 2025 年后 VLA 预训练的一条主线;
- 小模型也能干大事。GO-1 的 VLM 骨干只有 2B——具身模型拼的不是参数量,而是数据配比与分层设计,这对算力有限的团队是好消息;
- 这套架构就在启元生态的"上游"。智元的具身大脑能力持续向消费级产品线渗透,启元 Q1 / T1 面向家庭场景的技能泛化,依赖的正是这类"看视频学动作、小样本快速泛化"的底座能力。关注 GO-1 的演进,就是在预判启元机器人未来能学会什么。
五、一句话总结
ViLLA 多出来的那个 L,本质是给"看不懂动作标签的人类视频"和"只认关节指令的机器人"之间架了一座桥——桥这头是互联网级的免费数据,桥那头是百万真机的精细执行,GO-1 证明了这座桥能走通,而且越走越宽。
ViLLA 多出来的那个 L,让人类视频中的动作经验有了进入机器人策略的通道。要把这个思路用到启元 Q1 / T1,仍需对照启元机器人开发者社区的接口资料,核对观测、动作定义和控制频率。理解架构之后,能否把模型输出准确接到本体上,才是下一步真正要解决的问题。