news 2026/10/27 2:00:56

论文解读|智元 GO-1:VLA 进化到 ViLLA,中间多出来的那个“L“到底有什么用?

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
论文解读|智元 GO-1:VLA 进化到 ViLLA,中间多出来的那个“L“到底有什么用?

2025 年 3 月,智元发布首个通用具身基座大模型 GO-1(Genie Operator-1),提出 ViLLA(Vision-Language-Latent-Action)架构。名字只比 VLA 多了一个 L,但这个 L 解决的是 VLA 最疼的一个问题:互联网上海量的人类视频没有动作标签,怎么才能喂给机器人模型?本文基于官方技术报告《AgiBot World Colosseo》(arXiv:2503.06669)做通俗解读。

▲ AgiBot World Colosseo 平台总览:100 台双臂人形机器人采集百万级轨迹,GO-1 在其上训练。图源:arXiv:2503.06669

一、传统 VLA 的尴尬:两头数据量级差太远

经典 VLA(如 RT-2、OpenVLA)的公式是:图像 + 语言指令 → 直接输出机器人动作。这条路有个结构性矛盾:

  • 视觉-语言数据(图文对)互联网上有几十亿,随便用;
  • 带动作标签的机器人数据,全世界加起来也就百万级。

中间的鸿沟,就是"看得懂"和"会动手"之间的鸿沟。人类视频里明明有海量的"干活经验",但因为没有关节角度、末端位姿这些标签,传统 VLA 一口都吃不下。

GO-1 的思路是:在 V(视觉)L(语言)和 A(动作)之间,插入一层"隐式动作"(Latent Action)作为中间语言——先把"画面发生了什么变化"抽象成一种与具体机器人无关的动作表示,再由它去驱动最终的机器人动作。这就是 ViLLA。

二、ViLLA 的三件套:LAM、Latent Planner、Action Expert

▲ ViLLA 架构图:LAM 从人类视频学隐式动作,Latent Planner 预测隐式动作 token,Action Expert 输出最终控制。图源:arXiv:2503.06669

第一件:Latent Action Model(LAM)——从视频里"榨"出动作

LAM 是一个编码器-解码器结构:编码器看相邻两帧画面,预测"这两帧之间发生了什么动作",压缩成 4 个离散的隐式动作 token(用 VQ-VAE 量化);解码器再根据第一帧 + 这些 token 重建出第二帧。关键在于,训练 LAM 不需要任何动作标签,只要视频——于是 Ego4D 这类互联网规模的人类视频,全部变成了可用的预训练语料。

第二件:Latent Planner(隐式规划器)——用 VLM 做"与本体无关"的规划

以 InternVL2.5-2B 为骨干,输入头部 + 左右腕三路图像和语言指令,输出的是隐式动作 token 而不是机器人关节角。因为隐式动作空间比 OpenVLA 那种离散化低层动作小几个数量级,VLM 改造成机器人策略的成本大幅降低;同时"隐式动作"本身不绑定任何机器人,天然支持一脑多形的跨本体迁移。

第三件:Action Expert(动作专家)——把规划翻译成精细动作

用扩散(diffusion)目标建模连续动作分布,一次解码未来 30 步(H=30)的动作块(action chunk),吃本体状态,输出高频、灵巧的低层控制。它和 Latent Planner 共享架构、逐层条件化,组成 MoE 式的双专家系统。

三个阶段串起来就是:LAM 在无标签视频上打动作基础 → Latent Planner 用隐式动作做通用规划 → Action Expert 在百万真机数据上练精细执行。

三、实验结果:数字说话

▲ GO-1 对比 RDT-1B 及去掉 Latent Planner 的消融版本。图源:arXiv:2503.06669

  • GO-1 vs RDT-1B:在倒水、清理桌面、补货、叠短裤、擦桌子五个真机任务上,GO-1 平均成功率超出此前最优通用策略32%,复杂任务(叠短裤这类柔性物体操作)优势尤其明显;
  • Latent Planner 的功劳:消融实验显示,加上隐式规划器平均带来0.12的完成度提升,在需要指令跟随的"Restock Beverage"任务上提升最大;
  • 数据缩放定律:性能随预训练轨迹数呈可预测的幂律增长(Pearson 相关系数 r=0.97)——这意味着"继续堆数据就有继续的收益",路线是可持续的;
  • 数据质量实验:人工核验过的 528 条微调数据,效果反超未核验的 482 条(+0.18),再次印证"质控即护城河"。

四、对开发者的三点启发

  1. "中间表示"是异构数据融合的钥匙。LAM 的隐式动作思路(学术脉络来自 Genie、LAPA)正在被越来越多的工作采用,读懂 GO-1 就看懂了 2025 年后 VLA 预训练的一条主线;
  2. 小模型也能干大事。GO-1 的 VLM 骨干只有 2B——具身模型拼的不是参数量,而是数据配比与分层设计,这对算力有限的团队是好消息;
  3. 这套架构就在启元生态的"上游"。智元的具身大脑能力持续向消费级产品线渗透,启元 Q1 / T1 面向家庭场景的技能泛化,依赖的正是这类"看视频学动作、小样本快速泛化"的底座能力。关注 GO-1 的演进,就是在预判启元机器人未来能学会什么。

五、一句话总结

ViLLA 多出来的那个 L,本质是给"看不懂动作标签的人类视频"和"只认关节指令的机器人"之间架了一座桥——桥这头是互联网级的免费数据,桥那头是百万真机的精细执行,GO-1 证明了这座桥能走通,而且越走越宽。

ViLLA 多出来的那个 L,让人类视频中的动作经验有了进入机器人策略的通道。要把这个思路用到启元 Q1 / T1,仍需对照启元机器人开发者社区的接口资料,核对观测、动作定义和控制频率。理解架构之后,能否把模型输出准确接到本体上,才是下一步真正要解决的问题。

版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/10/27 2:00:36

Java 面向对象编程(二):包、封装、static 关键字与代码块详解

Java SE 学习笔记 面向对象基础篇(二)前言在上一篇文章中,我们学习了 Java 面向对象的基本概念,包括类与对象、成员变量、成员方法、this关键字以及构造方法。但是随着项目规模逐渐增大,仅仅会创建对象还远远不够。我…

作者头像 李华
网站建设 2026/10/27 2:00:12

电力市场EM01 | N002 什么是电力市场?一文看懂国内电力市场底层逻辑

摘要:本文沿着国内电改时间线,从计划管理模式、两轮关键电改节点切入,通俗讲解电力商品独有的物理约束、电力市场五大交易板块、各参与主体权责,同时厘清市场对工商业企业与普通居民的影响,梳理常见认知误区&#xff0…

作者头像 李华
网站建设 2026/10/27 2:00:07

在 C# 中,单元测试聚焦于隔离验证单个方法或类的逻辑,不依赖数据库、网络等外部资源;集成测试则验证多个组件(如 API、数据库、中间件)协同工作是否正常

在 C# 中,单元测试聚焦于隔离验证单个方法或类的逻辑,不依赖数据库、网络等外部资源;集成测试则验证多个组件(如 API、数据库、中间件)协同工作是否正常。两者通常分属不同的测试项目,使用 MSTest、xUnit 或…

作者头像 李华
网站建设 2026/10/27 1:59:38

【电子通识】UV固化三防涂层过了UV灯就万事大吉了?

UV灯亮了,涂层就固化“好了”?干了这么多年硬件,我发现最容易骗过自己的就是眼睛做工程久了,会养成一种职业病:相信“过了设备”就等于“做完了” 。PCB从回流焊里出来,过了就是焊好了。从清洗机里出来&…

作者头像 李华
网站建设 2026/10/27 1:58:50

从财务呈现到经营导航:FPA正助力企业摆脱滞后管理

当外部环境从增量扩张转向存量博弈,传统财务计划与分析(FP&A)职能正被迫经历一场变革。它不再只是年底关账后的“数据整理员”,而是被推到了战略决策的中心舞台,成为业务方向的塑造者与决策质量的赋能者。这种从被…

作者头像 李华
网站建设 2026/10/27 1:58:12

与服务器之间的文件传输工具全整理:常用工具与安装包下载地址

一、为什么需要专门的文件传输工具 在日常运维、开发和部署过程中,我们经常需要在本地电脑与远程服务器之间来回搬运文件:上传代码包、下载日志、同步配置文件、备份数据库导出结果等。虽然 scp、sftp 这类命令行工具已经能满足基本需求,但在…

作者头像 李华