论文：Agentic World Action Models（UC Berkeley / NVIDIA / UPenn，2026.10）
一、论文要解决什么问题
论文认为两条路线各有缺口：
- 世界动作模型（WAM），如 DreamZero，能预测未来视频，所以对物理动态有感知。但它不显式地拆解长程任务，也没有可复用的技能。
- 智能体式机器人（Code-as-Policies 一类），用代码调用技能，结构清楚、技能可复用。但它不了解物理动态，能做多少受限于可调用的底层原语。
AW-0 的做法是把代码作为第三种生成模态放进 WAM，让代码、未来视频、动作三路一起生成。
如图所示AW-0概览：
二、主要贡献
如图所示AW-0框架图：
1. 三专家 MoT 架构，离散与连续模态一起去噪（核心贡献）
- 代码专家：SDAR-1.7B，配 Qwen3-VL ViT，用 LLaDA 式的掩码扩散生成代码。
- 视频专家：Cosmos-Predict2.5-2B，用流匹配。
- 动作专家：一个 Action DiT。
- 三个专家各自保留独立的参数，在每一层通过联合注意力交互。注意力顺序是C→V→A：视频看代码，动作同时看代码和视频。
- 代码的离散掩码扩散和视频、动作的连续流匹配在同一个去噪轨迹里同步进行，一共 4 步，每一步按置信度揭开 G/T 个代码 token。
- 这样做的效果在效果和速度上都有体现：
- 联合去噪比自回归先写代码要好（平均 71.1 vs 54.5），延迟也更低（0.23s vs 0.55s）。
- 和不带代码的版本相比，只多出 0.04s 延迟。
2. 默认模式下，代码是规划条件，而不是被执行的程序
- 默认情况下生成的代码并不执行，只作为子任务规划去影响视频和动作的生成。
- 这个设计规避了 CaP 的主要弱点：执行完全依赖感知和控制原语。代码在这里的角色更像一种结构化的子任务表示。
- 消融（图 5）显示：
- 去掉代码（V→A）后，真实任务平均分从 71.1 跌到 32.9。
- C→V→A 的顺序比 V→C→A 好，说明让代码去引导视频预测是关键。
- 附录 G 的定性例子也支持这一点：有代码时，预测视频对准的目标物体是对的（芒果）；用自然语言子目标时会犹豫不决；不带代码时选错了物体。
3. 智能体式自动标注与技能发现流水线
- 流程分三步：
- Gemini 3.1 Pro 针对预定义的原语 API 写出子任务程序。
- Claude Code 担任协调者，把反复出现的模式提炼成技能，入库条件包括跨两个以上任务复用、参数化、粒度合适。
- 技能库冻结后，用缓存的方式标注全部数据。
- 对约 2,900 小时数据完成标注：1,919 小时 YAM 机器人数据，994 小时第一人称人类数据，共 207 万个子任务片段，提炼出 50 个技能（YAM 23 个，人类数据 27 个）。
- 这把“程序标签”扩展到了人类视频，等于给跨具身的预训练提供了统一的符号接口。
如图所示自动化标注流水线：
4. 混合执行
- 每次重新规划时，生成的代码要依次通过以下检查才会执行，否则回退到动作块：
- stage 检查
- 依赖检查
- 语法检查
- 白名单检查
- 非空检查
- 实验结果：
- RoboTwin 随机化场景成功率从 20.6% 提升到 29.2%，超过 π0.5 的 27.7%。
- 真实的叠毛巾任务从 84.4 提升到 90.6。
- 代码和动作的分工也比较合理：结构化动作（接近、放置、确定堆叠顺序）由代码负责，灵巧接触动作由动作专家负责。
5. 实验结果
- RoboTwin clean 场景成功率 80.8%，比最强基线 WLA 高 16 个点。
- 真实 8 个任务覆盖两种具身（平行夹爪和 22 自由度灵巧手），平均分 71.1，比最强基线高 25 个点。在需要语言理解和推理的任务上（Arrange Fruits、Flip Scoreboard）优势最明显。
- 消融比较全面，覆盖了以下因素：
- 注意力顺序
- ViT 和 VAE 两种视觉条件
- 代码中是否带注释、是否用技能调用、和自然语言子目标的对比
- 联合去噪和自回归的对比
三、不足之处
1. “Agentic”的程度被高估了
- 默认模式下代码不执行，所以它本质上是“用代码格式写的子任务标签”。从这个角度看，主要提升来自更强的中间监督信号，而不是智能体式能力。
- 真正体现“技能复用和执行”的混合模式，证据很弱：
- 仿真中 clean 场景反而从 80.8 掉到 63.1。
- 仿真中混合模式用的是另外一套 CaP 采集的示范数据，作者自己也承认不能单独归因于混合执行（附录 J.2）。
- 真实世界只在 1 个任务上做了评测（因为灵巧手没有 CaP 系统），提升 6 个点，且没有给出方差。
- 摘要和引言里提到的“自我改进”和“持续学习”都没有实现，只写在未来工作里。
2. 生成代码的质量不高
- 附录 F.1 中预训练代码专家的指标：
- 原语 F1：0.365
- 实体 F1：0.534
- 技能调用率：29%
- 可解析率：87.5%
- 作者自己也指出，代码经常选对了技能但填错了参数。
- 这反过来说明，代码的作用更多是一种“语义正则化或条件信号”，而不是一个精确可执行的计划。这和“代码即策略”的叙事有矛盾。
3. 和基线的比较可能不对等
- 预训练数据：AW-0 用了约 1,900 小时同一平台（YAM）的机器人数据，再加 1,000 小时人类数据。基线用的是各自公开的 checkpoint，比如 DreamZero 用 AgiBot 版本。真实世界里 YAM 任务的优势有多少来自领域内预训练，没有做分离。
- 训练配置不统一：DreamZero 训 10 个 epoch，π0.5 和 WLA 训 50 个，AW-0 训 20 个，学习率和 batch 也各不相同。
- 自家消融的反常：去掉代码的 AW-0（V→A）平均只有 32.9，比 DreamZero（46.0）和所有外部基线都低。这让人怀疑无代码版本是否训练充分，或者架构本身是否依赖代码信号。如果是前者，“代码带来 +38 分”这个结论会被放大。
- 子目标对照组的生成方式未说明：自然语言子目标版本是怎么生成的、质量是否和代码标注相当，论文没有交代。
4. 鲁棒性问题没有解决
- RoboTwin 随机化场景下，默认模式只有 20.6%，低于 π0.5 的 27.7%；clean 场景保留率只有 25%。
- 这说明在像素层面做视频预测的 WAM，固有的分布外脆弱性并没有因为加了代码而缓解。
5. 评测的统计强度有限
- 真实世界每个任务 48 次 rollout，用的是作者自己设计的分步评分 rubric，不是二值成功率。
- 正文表格只给均值，没有方差或置信区间。部分消融差距只有几个点，比如 Replace Lightbulb 上自回归（79.2）反而高于联合去噪（75.0），统计显著性无法判断。
6. 可复现性和成本问题
- 标注流水线依赖闭源模型（Gemini 3.1 Pro、Claude Opus 4.8），成本和可复现性都是问题。
- 技能库需要人工定义原语 API，并且冻结后不再扩展。迁移到新任务和新具身时，泛化能力受限于这 50 个技能的覆盖范围。
- 预训练用了 48 张 H100，YAM 数据是私有数据，外部很难复现。
7. 混合执行的仲裁规则过于简单
- 只要代码合法就执行，不评估代码相比动作块的预期收益。这正是 clean 场景掉分的原因，作者在附录 L 中也承认了。
- 一旦决定执行代码，即使执行抛出异常，同一次前向得到的动作块也会被丢弃，失败成本较高。
四、总体评价
- 主要价值：从架构上证明了“离散代码 + 连续视频/动作”的联合扩散在 WAM 中可行且高效。代码作为结构化的中间条件，确实提升了语言遵循和语义推理能力，这一点有较充分的消融支撑。自动标注加技能提炼的流水线，也为大规模人类和机器人数据提供了可扩展的程序化监督。
- 主要不足：标题强调的 “Agentic”（技能复用、执行、自我改进）证据明显不足。默认模式其实是“代码条件化的 WAM”。同时，和基线比较时存在领域内预训练数据和训练配置上的混杂因素，无代码消融的分数偏低也值得追问。
