一篇读懂世界-动作模型 sim-to-real：从 Cosmos Policy 到 Franka 真机，用 800 条纯合成示教、零真实数据第一次让 WAM 上真机
论文：Efficient Sim-to-Real Transfer of World-Action Models from Synthetic Priors（Purdue University / Robotics and AI Institute，arXiv 2026）
发布时间：2026 年 6 月 30 日（arXiv v1，CC BY 4.0）
作者：Zixing Wang、Kausik Sivakumar、Jinghuan Shang、Yafei Hu、Zhaoming Xie、Ran Gong、Xiaohan Zhang、Karl Schmeckpeper（共 8 人，†同等指导）
核心一句话：在 Cosmos Policy 视频扩散策略上叠 Isaac Gym 域随机化 + AnyTask 自动合成示教，每任务只用约 800 条纯仿真数据、零真实示教，训 32 轮 / 40×H100 / 约 72 小时后直接上 Franka Research 3 零样本部署，4 任务平均 35% 成功率（10 试/任务），把用 50 条真实示教训出的 Diffusion Policy（25%）也比下去——据作者所知是第一次证明世界-动作模型能跨过 sim-to-real。
配套资源
本论文为作者所述的"早期结果"版本，正文未附官方项目主页、代码仓库或模型权重链接；作者在摘要末注明"完整版世界-动作模型零样本 sim-to-real 迁移工作将随后发布"。待官方资源放出后再补充。此处只列论文本身的入口：
- arXiv 论文页：arxiv.org/abs/2606.31101
核心关键词
- 世界-动作模型（WAM）：统一生成式模型，同时预测未来视觉观测与机器人动作，把"未来会怎样"和"我该怎么动"放进一个生成过程里。
- Cosmos Policy：把预训练视频扩散模型 Cosmos-Predict2 单阶段后训练成机器人策略；动作、未来观测、价值估计都被编码为统一扩散过程中的潜帧。
- 合成先验（synthetic priors）：用仿真生成的专家示教替代昂贵真实遥操作数据，是本文"省真实数据"的核心抓手。
- 域随机化（domain randomization）：对纹理、相机位姿、光照、物体放置做随机化，让真实工作空间更可能落入训练分布而无需手动复刻真实测试场景。
- AnyTask + ViPR：基础模型引导的运动规划管线，无人遥操作即可自动生成示教。
- 零样本 sim-to-real：策略只在仿真里训练、直接部署到真机，不收集任何真实示教、不在真实数据上微调。
- Diffusion Policy（DP）对照：用 10/50 条真实示教训练的 DP，作为"真实数据代价"参照，而非架构匹配的消融。
带着问题阅读
- 世界-动作模型此前只在 sim-to-sim 或 real-to-real 上验证过——跨过 sim→real 这一步对机械臂操作为什么是个真问题、又为什么值得做？
- 论文刻意声明"这不是一个证明联合视频-动作预测所必需的消融"——那它到底在回答什么问题、又在刻意回避什么比较？
- 同一份策略为什么能从纯仿真 rollout 直接迁移到真实 Franka？作者把迁移能力归因于哪三个因素、又为什么把它们都留作未来消融？
- 800 条合成示教 + 零真实数据 → 35% 平均成功率，这个数字到底是强还是弱？逐任务的分布说明了什么？
- 用 10/50 条真实示教训的 Diffusion Policy 只有 5%/25%——这个对照能说明 WAM 更强吗，还是只说明"省了真实数据"？
- 论文标注是"早期结果"，完整版将随后发布——这意味着当前结论的边界与可信度在哪？
一、核心导读
这是一篇短而克制、定位明确的实证论文。它的全部论证围绕一个朴素的经验问题：一个完全只用合成示教训练的世界-动作模型，能不能零样本完成真实机械臂操作？论文给出的答案是肯定的——在 Cosmos Policy（一个把视频扩散模型后训练成机器人策略的模型）上，叠加 GPU 加速仿真 + 全面域随机化 + AnyTask 自动示教生成，每任务只用约 800 条纯仿真示教、零真实示教，训练后直接上 Franka Research 3 真机零样本部署，在抓香蕉、抓砖块、开抽屉、把草莓放碗里 4 个任务上拿到 35% 平均成功率。作者据此声称这是"第一次成功的世界-动作模型 sim-to-real 迁移"。
读这篇论文最要紧的是抓住它的自我定位。它不是一个消融实验，不打算证明"联合视频-动作预测"对 sim-to-real 是必需的；它也不是在跟 Diffusion Policy 做架构匹配的对照比较。它就是想回答"能不能做出来"。正因如此，论文把 DP 基线（用 10/50 条真实示教训练）明确写成"真实数据代价的参照而非架构匹配消融"，并承认"联合视频-动作预测目标到底贡献多少"留作未来工作。理解这条"只回答 yes/no、不归因"的边界，是读懂本文结论强度的关键：35% 是"非零、首次"的证据，但远不是"高成功率的成熟方法"。
二、问题背景：作者到底想解决什么
2.1 真实示教太贵，仿真可扩展但 sim-to-real gap 难跨
在真实世界里训练操作策略代价极高——遥操作采集人力物力都贵。仿真提供了可扩展的替代：能并行采集、能自动生成、数据便宜。但仿真与真实之间存在固有的视觉与物理差异（sim-to-real gap），常导致迁移失败。一个成功的 sim-to-real 系统能减少甚至消除对真实遥操作数据的需求，这正是其吸引力所在。
2.2 世界-动作模型此前没有跨过 sim-to-real
论文聚焦的是世界-动作模型：统一生成式模型，同时预测未来视觉观测与机器人动作。此前工作已在 sim-to-sim 或 real-to-real 设定下展示了这类模型的潜力，但它们能不能为机械臂操作跨过 sim→real 这一步，此前并不清楚。这个 gap 之所以重要：若结果是肯定的，就把 sim-to-real 的核心好处（便宜、可扩展、自动生成数据）扩展到了一类新的策略模型——生成式的世界-动作模型——而不是仅限传统的强化学习或行为克隆策略。
作者因此把自己的贡献写得很窄、很诚实：贡献不是一个证明"联合视频-动作预测对 sim-to-real 必需"的消融，而是一个更简单的经验问题——完全只用合成示教训练的世界-动作模型，能不能零样本做真实世界操作？为回答它，作者把 Cosmos Policy、全面域随机化、AnyTask 自动示教生成三者组合起来，呈现（据他们所知）第一次成功的 WAM sim-to-real 迁移。
三、核心思路：用一句主线串起来
整条方法链可以压成一句话：用 AnyTask 在随机化仿真里自动生成合成示教 → 拿这些合成示教把 Cosmos-Predict2 视频扩散模型后训练成 Cosmos Policy（动作与未来观测都在同一个扩散过程里）→ 训完直接零样本上 Franka 真机。这条链的每一环都对应一个"省真实数据"的杠杆：AnyTask 省掉人遥操作、域随机化省掉手动复刻真实场景、Cosmos Policy 的视频先验省掉从零学视觉世界模型。论文的关键判断是：这三者合起来足以让 WAM 第一次跨过 sim-to-real，但它们各自的贡献留待未来消融——作者只对"整体能不能 work"负责。
如上图，同一个策略家族只在合成示教上训练、直接部署到真实 Franka Research 3，三个任务都能跑出连续的真实 rollout——这是论文最直接的"上真机"证据。
四、方法展开：沿着论文原始逻辑拆解
4.1 Cosmos Policy：把视频扩散模型后训练成机器人策略
Cosmos Policy 把一个预训练视频扩散模型 Cosmos-Predict2 适配成机器人策略，做法是单阶段后训练。在这个框架里，动作、未来观测、价值估计都被编码成统一扩散过程中的潜帧。也就是说，策略输出不只是一个动作向量，而是在同一个扩散去噪过程里同时生成未来画面与动作——这正是"世界-动作模型"区别于普通行为克隆策略的地方：它建模的是"未来世界会怎样演变"与"机器人该怎么动"的联合分布，而非只学一个观测到动作的映射。
4.2 仿真与示教生成：Isaac Gym 域随机化 + AnyTask 自动示教
训练环境用 GPU 加速仿真（Isaac Gym）搭建，并施以全面的域随机化，覆盖四个维度：(1)纹理——物体表面、桌面材质、背景取自程序化与照片库；(2)相机位姿——对手腕与第三人称相机做平移与旋转扰动；(3)光照——场景灯的数量、位置、强度、色温都变；(4)物体放置——在工作空间可达范围内均匀采样。这些随机化的设计目的是覆盖足够宽的视觉外观范围，使真实工作空间更可能落在随机化训练分布之内，而不需要手动去匹配真实测试场景——这是 sim-to-real 能"零样本"成立的关键工程前提。
示教生成则用 AnyTask：通过基础模型引导的运动规划（ViPR）产生合成先验（专家示教），全程无人遥操作，覆盖 4 个任务——抓香蕉（lift banana）、抓砖块（lift brick）、开抽屉（open drawer）、把草莓放进碗里（put strawberry into bowl）。每任务约 800 条示教、合计约 3200 条，都是 RGB 观测配末端执行器动作轨迹。
4.3 训练与零样本部署：32 轮 / 40×H100 / 约 72 小时
Cosmos Policy 的训练跑了 32 个 epoch，在 40 张 H100 GPU 上、约 72 小时。训练后，作者做了一个前向预测的定性校验：把模型在真实执行时预测出的未来帧，与同步的真实相机观测并排比较。
如上图，三组分别对应接近、抓取、举起三阶段；每组里 Pred Cam 是世界-动作模型预测的未来 RGB 画面，Live Cam 是执行时真实相机帧。并排对齐说明：尽管策略只在仿真里训练，它预测出的未来帧仍保住了物体位置、机器人姿态与任务阶段。这个可视化"提示"模型学到了对执行有用的真实场景动力学——但要强调它是定性的前向预测校验，不是定量的 rollout-对齐度量。
部署阶段，作者把训好的策略直接上真实 Franka Research 3，不收集真实示教、不在真实数据上微调。唯一的真实世界设置就是推理时用的标准相机配置：固定的手腕与第三人称 RGB 相机视图被挂上并流式喂给策略。换言之，真机侧没有任何针对该任务的特殊标定或场景复刻。
五、实验与证据：结果能支撑到什么程度
论文的真机成功率见下表（每任务 10 次试验）。注意表里三行回答的是不同的问题：DP 行用真实示教、本文行用仿真示教，因此它们不是架构匹配的对照，而是"真实数据代价"的参照。
| 方法 | 抓香蕉 | 抓砖块 | 开抽屉 | 放草莓 | 平均 |
|---|---|---|---|---|---|
| DP（10 条真实示教） | 0/10 | 0/10 | 2/10 | 0/10 | 5% |
| DP（50 条真实示教） | 4/10 | 3/10 | 3/10 | 0/10 | 25% |
| 本文（800 条仿真示教） | 5/10 | 5/10 | 2/10 | 2/10 | 35% |
读这张表要有几个判断。第一，本文 35% 的意义是"非零、首次"：一个完全只用自动合成数据训练的 WAM，能零样本在真机上拿到非零成功率，且平均成功率高于这两个真实示教 DP 参照。第二，逐任务分布很不均：抓香蕉与抓砖块各 50%，但开抽屉与放草莓都只有 20%；尤其"把草莓放进碗里"这个最需要精细对齐与放置的任务，连 50 条真实示教的 DP 也是 0/10，说明这组任务本身难度差异大，35% 是被前两个简单任务拉起来的。第三，这个对照不能证明 WAM 架构上更强——作者自己也写明 DP 用了真实示教、回答的是另一个问题，只作为"sim-to-real 想省掉的那笔真实数据代价"的参照。论文把迁移能力归因于三件事的合力：预训练视频先验、全域随机化、联合动作-视频预测目标；而对每个因素的控制消融留作未来工作。
作者还做了一个分布外（OOD）泛化测试：让策略去抓一个训练时没见过的瓶子。如上图，策略成功完成接近、抓取、举起，提示它学到的是可泛化的视觉-运动原语，而不是只记住了原始任务物体。当然，这是单个定性案例，不是统计意义上的 OOD 评测。
六、这篇工作的边界与可复现性
边界是本文最该看的地方。首先，结论强度有限：35% 平均成功率是"非零首次"，但绝非高成功率成熟方法；逐任务看，两个任务只有 20%，意味着这条路线离可用还远。其次，没有因果归因：作者明确声明这不是一个证明"联合视频-动作预测对 sim-to-real 必需"的消融，三因素（视频先验、域随机化、联合目标）各自贡献多少都没有被分离测量，全部留作未来工作——所以读者无法从本文判断"换掉 Cosmos Policy、只用纯动作扩散行不行"或"域随机化到底贡献多少"。第三，DP 对照不对等：DP 用真实示教、本文用仿真示教，两者数据来源不同、架构也不同，35% vs 25% 只能读作"省真实数据角度的参照"，不能读作"WAM 比 DP 强"。
复现性层面：训练配置交代清楚（32 epoch、40×H100、约 72 小时），仿真栈（Isaac Gym）、示教生成（AnyTask/ViPR）、基模型（Cosmos Policy / Cosmos-Predict2）都点了名；但 AnyTask 的 ViPR 运动规划细节、4 个任务各自的仿真场景搭建、域随机化的具体参数范围都依赖其引用文献，本短文未全部列齐。Fig 2 的预测-真实对齐是定性校验，没有给定量指标（如 rollout 相关度、像素/姿态误差）。最后，作者自己标注本文是"早期结果"，完整版 sim-to-real 工作将随后发布——这意味着当前结果更像是"可行性证明 + 预告"，完整方法与更全的评测应在后续版本中补齐。
七、如果继续研究/落地，应该关注什么
落地视角，这条路线最有价值的是"省真实数据"杠杆：把 sim-to-real 的好处（便宜、可扩展、自动生成）首次扩展到生成式世界-动作策略上。要把它推向可用，最该补的几件事恰好就是作者留白的：(1)做被回避的那个消融——分别评估视频先验、域随机化、联合动作-视频目标三者的单独贡献，判断 WAM 架构本身相对纯动作扩散策略在 sim-to-real 上是否真有优势，还是主要靠域随机化撑着；(2)补定量 rollout-对齐度量——把 Fig 2 的定性"预测画面 vs 真实画面"升级为 rollout 相关度/像素误差/姿态误差，给"模型学到了真实场景动力学"一个数值证据；(3)攻弱任务——开抽屉与放草莓的 20% 说明精细对齐与放置类任务是瓶颈，可能需要更细的接触建模或更多示教覆盖，而非简单堆数据；(4)扩大任务与物体集并做统计 OOD 评测——当前 OOD 只有一个瓶子定性案例，需要多个未见物体、多次试验的统计成功率。工程上，AnyTask 自动示教 + 域随机化 + 视频扩散策略这套组合的可复现门槛主要卡在仿真场景搭建与 Cosmos Policy 的后训练细节上，等官方完整版放出后这些应会透明化。
八、术语与概念速查
| 类别 | 术语 | 一句话定位 |
|---|---|---|
| 方法核心 | 世界-动作模型（WAM） | 统一生成式模型，同时预测未来视觉观测与机器人动作 |
| 方法核心 | Cosmos Policy | 把 Cosmos-Predict2 视频扩散模型单阶段后训练成策略，动作/未来观测/价值都编码为统一扩散过程的潜帧 |
| 数据 | 合成先验（synthetic priors） | 仿真生成的专家示教，替代真实遥操作数据 |
| 数据 | AnyTask + ViPR | 基础模型引导的运动规划，无人遥操作自动生成示教 |
| 仿真 | 域随机化 | 纹理/相机位姿/光照/物体放置随机化，使真实工作空间落入训练分布 |
| 仿真 | Isaac Gym | NVIDIA 的高性能 GPU 物理仿真，本文用于并行采集 |
| 部署 | 零样本 sim-to-real | 策略只在仿真训练、直接上真机，不收集真实示教、不在真实数据上微调 |
| 对照 | Diffusion Policy（DP） | 用 10/50 条真实示教训练的对照基线，作"真实数据代价"参照而非架构匹配消融 |
| 任务 | lift banana / lift brick / open drawer / put strawberry into bowl | 本文 4 个真机评测任务，难度递增、放置类最难 |
| 评测概念 | 非零首次 | 35% 的定位：证明 WAM 能跨 sim-to-real，但非高成功率成熟方法 |
| 边界 | 早期结果 | 作者标注本文为完整 sim-to-real 工作的早期版本，完整版将随后发布 |
九、拓展思考：值得继续扩展研究与思考的创新点
这篇短文真正的创新点不在 35% 这个数字，而在它确立的"用纯合成先验把生成式世界-动作策略第一次送上真机"这条路线的合法性。把它的开放问题展开，最值得继续想的有三条。第一，把被回避的归因补上：WAM 相对纯动作扩散策略在 sim-to-real 上的边际收益到底正不正？如果消融显示联合视频-动作目标贡献有限、主要靠域随机化与视频先验，那"WAM 上真机"的功劳就要重新归账；反之若联合目标确有迁移增益，就给"建模未来世界有助动作迁移"提供了一个干净的正面证据——这正是当前世界-动作模型阵营最缺的那类对照。第二，把 Fig 2 的定性对齐升级为可量化的"想象-真实 rollout 相关度"，这能同时服务两件事：既给"模型学到了真实动力学"上数值证据，又把它接到 Kairos 等更大工作中反复强调却尚未兑现的"想象 rollout 与真实 rollout 高相关"那条未来验证上——本文这个小规模 setting 反而是做这种校准实验的低成本试验田。第三，从"能上真机"到"能稳定上真机"：当前 20% 的弱任务与单个 OOD 案例提示，下一步该把评测做成多任务、多未见物体、多次试验的统计成功率，并引入失败/恢复数据，看合成先验里加入近边界失败示教能不能把弱任务拉起来。产品形态上，"AnyTask 自动示教 + 域随机化 + 视频扩散策略"这条组合一旦把完整版细节放开，就有望成为一种数据效率极高的机械臂策略生产管线——用仿真成本换真实示教成本，这正是 sim-to-real 一直想兑现、而世界-动作模型此前没能兑现的承诺。
