跨具身视频世界模型：把视频预测变成零样本物理模拟器

在机器人学习论文里，CLAP 不是音频领域的音源分离工具，而是指一条新的建模路线：Cross-Embodiment Video World Models，即跨具身视频世界模型。论文标题的后半句更关键——它主张这种模型可以作为零样本物理模拟器（Zero-Shot Physical Simulators）使用。传统物理模拟器（PyBullet、MuJoCo 这类）需要一个机器人一个机器人地建模、标定参数、调试接触模型；而 CLAP 想回答的问题是：能不能从大量不同机器人的真实交互视频里直接学到物理规律，然后在遇到没见过的机器人形态、没见过的场景时，不额外训练，就把视频世界模型当作物理模拟器来用。

下面从研究和工程结合的角度，拆解这个概念背后的动机、模块设计、最小实验框架，以及真正落地时最容易踩的坑。需要先说明的是，论文的完整实现细节、数据集规模和评测分数，要以官方发布的内容为准；本文给出的代码和配置是便于理解思路的简化示例，落到自己的项目里时要按实际版本和路径调整。

1. 先理解：视频世界模型为什么能当物理模拟器

1.1 视频预测模型的本质是在学“动态”

视频世界模型（Video World Model）最简单的形式是一个条件概率模型：

p(x_{t+1} | x_t, a_t)

其中 x_t 是当前观察帧，a_t 是动作或控制信号，模型预测下一帧 x_{t+1}。如果展开多个时间步，模型就可以自回归地生成一段未来视频。

从数学上看，物理模拟器本质也是一个转移函数：给定当前状态 s_t 和动作 a_t，计算下一状态 s_{t+1}。差别在于：

• 物理引擎用显式方程描述刚体动力学、接触、摩擦、重力。
• 视频世界模型从大量像素数据里隐式学习这些规律。

一个足够强的视频预测模型，如果训练数据覆盖了足够多样的物体交互，它其实在内部“记住了”物理动态的统计规律。CLAP 的核心主张就是把这种能力显式变成模拟器使用。

1.2 传统物理模拟器的三个痛点

先看传统路线为什么贵：

1. 建模成本高。每个新机器人要准备 URDF 或 MJCF 文件，定义关节、连杆、碰撞体、传感器位置。
2. 参数标定难。摩擦系数、阻尼、刚度、关节限位，这些参数通常靠人工调试或系统辨识，调完一个场景换一个场景又要重调。
3. 模拟与真实有域差。仿真里接触稳定、摩擦可信，不代表真机上也一样；sim-to-real gap 是机器人策略迁移里最难啃的问题之一。

视频世界模型不是要完全替代物理引擎，它的价值在于：当物理引擎建模成本太高、或者真实系统很难精确建模时，用数据驱动的方式补上“动态预测”这一环。

比较维度	传统物理模拟器	视频世界模型模拟器
建模方式	手工建模加参数标定	从视频数据学习动态
遇到新机器人	需要重新建模标定	目标是不训练直接迁移
输出类型	状态向量、关节角、接触力	图像、视频帧
可解释性	物理量可直接读取	需要额外分析或辅助头
计算开销	仿真快，渲染可选	模型推理较慢，依赖 GPU
数据依赖	不依赖视频数据	依赖大规模跨具身视频

1.3 从“描述物理”到“预测像素”的关键转变

物理引擎的特点是“精确但脆弱”，它对状态空间建模，无法直接回答“这个画面里物体长什么样”。视频世界模型恰好相反，它建模的是“未来画面长什么样”，视觉外观、光照、材质纹理都天然包含在训练信号里。

CLAP 的关键洞察是：如果训练数据覆盖了多个机器人本体（机械臂、灵巧手、移动底盘、人形机器人），那么模型被迫学习的是“跨本体共享的物理动态”，而不是某个机器人的固定动作模式。这个问题一旦解决，零样本迁移就有了解释：新机器人只是换了一组外观和动作接口，底层物理规律没有变。

注意：这里的“零样本”指的是部署时不针对新机器人做梯度更新，不代表不需要任何历史数据。没有大规模跨具身视频做训练，零样本迁移无从谈起。

2. 跨具身到底解决什么问题

2.1 不同机器人形态之间的鸿沟

不同机器人的动作空间差异很大：

机器人类型	动作维度示例	主流控制接口
六轴机械臂	6 到 7 个关节角	关节位置、速度控制
灵巧手	10 到 20 个自由度	电机位置或腱绳张力
移动底盘	2 到 3 个速度量	线速度、角速度
人形机器人	20 到 40 个自由度	关节力矩或位置

如果模型直接预测“关节角变化”，那么换一个机器人，动作空间就变了。跨具身建模必须先在“动作表示”这一层做统一。

2.2 用潜在动作统一不同机器人的控制

CLAP 这类模型常见的做法是引入潜在动作（Latent Action）。思路是把动作从“具体执行器的命令”抽象成“造成画面变化的原因”。

给定连续两帧 x_t 和 x_{t+1}，训练一个逆动力学模型 q(z_t | x_t, x_{t+1})，用一个低维向量 z_t 解释“这两帧之间发生了什么变化”。世界模型则正向预测：

p(x_{t+1} | x_t, z_t, e)

其中 e 是具身（embodiment）嵌入向量，用于告诉模型当前观察来自哪种机器人、什么相机视角、什么机械结构。z_t 是统一的潜在动作，和具体执行器无关。

这样做的好处是：

• 训练时，哪个机器人的数据都能喂进来，只要它有观察帧和动作记录。
• 部署时，新机器人只需要提供当前帧，模型就能在潜在动作空间里做规划，再把选中的 z 映射回该机器人的执行器命令。

2.3 零样本泛化的能力边界

零样本不等于万能。实际项目里要尽早明确边界：

• 见过的形态范围内泛化，通常效果较好；完全没见过的机械结构，如从刚性夹爪换到软体夹爪，画面外观和接触形变差异过大，预测容易崩溃。
• 背景、光照、相机视角变化会显著影响像素预测质量，跨具身不代表跨世界。
• 长时程接触任务，比如插入、拧螺丝，对接触细节要求极高，视频模型的预测误差会随步数快速放大。

建议在项目启动时就把“哪些具身属于训练分布、哪些属于期望零样本范围”写清楚，否则评测结果会非常混乱。

3. 把 CLAP 拆成可工程落地的模块

从工程实现角度看，一套跨具身视频世界模型至少需要四个模块：视频编码器、动态预测模型、潜在动作推断器、评测器。它们各司其职，也和传统视觉模型、序列模型有明显分工。

3.1 视频编码与 Tokenization

像素级预测的计算量太大，主流做法是先做 tokenization，把图像压缩成离散 token 或紧凑特征。常用的有 VQ-VAE、VQ-GAN 以及各类视频 tokenizer。

下面的代码只是一个示意，真实实现里 tokenizer 往往要单独在大规模视频上预训练：

import torch import torch.nn as nn class VideoTokenizer(nn.Module): """把视频帧编码成离散 token 的简化示意。 实际项目建议使用 VQ-GAN 或预训练 tokenizer，不要直接复用它。 """ def __init__(self, codebook_size=1024, token_dim=256): super().__init__() self.encoder = nn.Sequential( nn.Conv2d(3, 64, 4, stride=2, padding=1), nn.ReLU(), nn.Conv2d(64, 128, 4, stride=2, padding=1), nn.ReLU(), nn.Conv2d(128, token_dim, 1), ) self.codebook = nn.Embedding(codebook_size, token_dim) def encode(self, x): # x: (B, 3, H, W) z_e = self.encoder(x).permute(0, 2, 3, 1).contiguous() flat = z_e.view(-1, z_e.size(-1)) distances = torch.cdist(flat, self.codebook.weight) indices = distances.argmin(dim=-1) return indices.view(z_e.size(0), z_e.size(1), z_e.size(2))

编码时要注意空间分辨率损失。如果原图是 256×256，经过两次 stride=2 的卷积，特征图只有 64×64，但已经包含足够多的空间信息。细节要求高的任务可以用分层 tokenizer，或者把局部区域单独高分辨率编码。

3.2 条件化动态预测模型

拿到 token 序列后，需要一个序列模型预测下一帧 token。模型输入包括上一帧 token、潜在动作 z_t、具身嵌入 e。Transformer 是当前最常见的骨架：

class EmbodimentConditionedWorldModel(nn.Module): """条件化视频世界模型：p(next_token | prev_token, latent_action, embodiment)""" def __init__(self, hidden_size=512, n_layers=8, action_dim=16, emb_dim=32): super().__init__() self.action_proj = nn.Linear(action_dim, hidden_size) self.emb_proj = nn.Linear(emb_dim, hidden_size) self.transformer = nn.TransformerEncoder( nn.TransformerEncoderLayer(d_model=hidden_size, nhead=8), num_layers=n_layers, ) self.head = nn.Linear(hidden_size, vocab_size) def forward(self, obs_tokens, latent_action, embodiment_emb): cond = self.action_proj(latent_action) + self.emb_proj(embodiment_emb) # 每个空间位置的 token 都叠加条件向量 sequence = obs_tokens + cond.unsqueeze(1) out = self.transformer(sequence) return self.head(out)

这里有个容易被忽略的细节：embodiment embedding 不能只在输入层加一次。跨具身差异体现在动态上，条件向量应该贯穿每一层。实际实现里更常见的做法是把 e 拼进每个 Transformer 层的 attention 或 FFN 输入。

3.3 潜在动作推断器

训练时我们有真实连续帧，可以把 z_t 当作隐变量来学习。最简单的方法是训练一个逆动力学网络：

class LatentActionInference(nn.Module): """从连续两帧推断潜在动作 z_t 的简化示意。""" def __init__(self, latent_dim=16): super().__init__() self.backbone = nn.Sequential( nn.Conv2d(6, 64, 4, stride=2, padding=1), nn.ReLU(), nn.Conv2d(64, 128, 4, stride=2, padding=1), nn.ReLU(), nn.AdaptiveAvgPool2d((8, 8)), nn.Flatten(), ) self.z_head = nn.Linear(128 * 8 * 8, latent_dim) def forward(self, x_t, x_next): feat = self.backbone(torch.cat([x_t, x_next], dim=1)) return self.z_head(feat)

latent_dim 的选择很关键。太小，动作表达不够，模型很难区分不同运动；太大，变成“每帧一个随机编码”，可控性变差。常见的经验值是 8 到 64，需要按任务调试。

3.4 评测器模块

视频世界模型不能只看“下一帧好不好看”，还要检查“物理上是否合理”。评测器在整个框架里负责回答几个问题：

• 物体是否保持存在？有没有出现“物体凭空消失又出现”的幻觉。
• 接触是否正确？手是否穿过物体。
• 动作是否真的控制住了画面变化？
• 不同具身条件下，动态是否仍然一致？

评测器可以是一个独立的奖励模型、一个接触检测器，或者一组视觉语言模型打分器。在训练阶段，它用于诊断；在部署阶段，它用于规划时的候选排序。建议至少从第一周就接入评测器，不要等到模型训练完再补，否则问题会藏得很深。

4. 一个最小可理解的实验框架

4.1 数据组织

跨具身视频数据的组织方式是整个项目的地基。一个常见目录结构如下：

dataset/ scenes/ pick_cube/ robot_arm_01/ episode_0001/ obs/ 00000.png 00001.png ... action.npy meta.json robot_hand_01/ episode_0001/ obs/ 00000.png 00001.png ... action.npy meta.json

meta.json 建议最少包含：

{ "embodiment_id": "robot_arm_01", "camera_view": "third_person_front", "fps": 10, "action_space": "joint_position", "action_dim": 6 }

训练时，embodiment_id 会映射成一个可学习的 embedding；camera_view 也可以作为条件。数据清洗的重点是：删掉动作与画面变化不对齐的片段，比如画面静止但动作一直在动的数据。

4.2 训练配置

下面是一个简化配置，用于理解参数之间的配合：

model: tokenizer: codebook_size: 4096 token_dim: 256 world_model: hidden_size: 512 n_layers: 8 action_dim: 16 emb_dim: 32 latent_action: latent_dim: 16 inverse_loss_weight: 1.0 data: root: ./dataset frame_size: [256, 256] fps: 10 n_frames_per_episode: 64 train: batch_size: 32 lr: 3e-4 epochs: 50 mixed_precision: true log_interval: 100

关键参数解释：

参数	含义	调大影响	调小影响
codebook_size	视觉 token 字典大小	重建细节更好，训练更慢	压缩更强，细节丢失
action_dim	潜在动作维度	动作表达力强，可能过拟合	表达力弱，动作区分度低
emb_dim	具身嵌入维度	更好区分不同机器人，参数量上升	区分度低，迁移混乱
inverse_loss_weight	逆动力学损失权重	动作可控性更强，可能忽视视觉质量	视觉质量优先，动作不可控
n_frames_per_episode	单条序列长度	更好学习长期动态，显存压力大	只能学到短期动态

4.3 训练目标组合

训练通常不只用下一帧重建损失，而是多目标组合：

1. 下一帧重建损失：p(x_{t+1} | x_t, z_t, e) 与真实帧的 token 交叉熵。
2. 潜在动作重建损失：从 q(z_t | x_t, x_{t+1}) 推断出的 z_t，要让世界模型能重建出 x_{t+1}。
3. 具身分类损失：可选，输入帧和 e 要能够互相确定，避免 e 退化成无用信息。

目标函数可以写成：

L = L_rec + λ_inv · L_inv + λ_emb · L_emb

其中 λ_inv 对应配置里的 inverse_loss_weight。调试时如果发现“模型能生成漂亮画面但动作不听话”，优先调大 λ_inv，而不是无脑加大模型。

4.4 训练命令与监控

假设实现基于 PyTorch Lightning 或原生 PyTorch，训练命令类似：

python train.py --config configs/clap_small.yaml \ --data_root ./dataset \ --output_dir ./runs/clap_small \ --gpus 4

训练过程中至少要盯住四个量：

loss_rec # 下一帧重建损失，趋势应稳步下降 loss_inv # 潜在动作重建损失，下降说明动作可控 emb_acc # 具身分类准确率，保持接近 1 说明 e 有效 fvd_val # 验证集 FVD，判断视频质量，同时看训练与验证是否发散

如果 loss_rec 降了但 fvd_val 不降，说明模型在“背训练数据”，跨具身泛化没有发生。

5. 零样本模拟器在机器人学习里的典型用法

5.1 作为策略训练的数据生成器

机器人强化学习最大的成本是真实交互。有了视频世界模型后，可以在模型内部做“想象 rollout”，生成大量未来轨迹，再把这些轨迹拿去做策略学习。这类方法在文献里常被称为“imagination rollout”。

基本流程：

1. 用当前策略在真实环境采样少量真实数据。
2. 用视频世界模型生成虚拟未来帧。
3. 用奖励模型或规则给虚拟轨迹打分。
4. 用虚拟轨迹更新策略，重复迭代。

这里的关键是：世界模型的预测误差会被策略吸收还是放大。实际项目中，虚拟 rollout 的步数要严格控制，通常在 8 到 32 步之间；步数过长，误差累积会让策略学会“利用模型幻觉”而不是“完成任务”。

5.2 作为模型预测控制（MPC）的多步预测器

MPC 天然需要一个动态模型。视频世界模型可以直接当多步预测器用：

# 简化示意：在潜在动作空间里做随机采样优化 candidates = sample_z(num_candidates=64, latent_dim=16) best_z = None best_cost = float("inf") for z in candidates: pred_frames = world_model.rollout( current_frame, z, embodiment_emb ) cost = cost_function(pred_frames, goal_frame) if cost < best_cost: best_cost = cost best_z = z execute(best_z)

这种用法里，cost_function 可以由目标图片、关键词文本或一组像素关键点定义。相比传统 MPC 需要精确状态模型，视频世界模型把“状态”和“目标”都统一在像素空间，降低了建模成本，但代价是推理时间复杂度高。

5.3 做 sim-to-real 的中间评估层

真实机器部署前，先用视频世界模型做一次“虚拟试运行”，能拦截掉明显错误的策略。比如策略在仿真里表现好，但换了新环境后预测帧出现物体穿模、目标物体消失，说明策略可能过度依赖外观特征。

把世界模型当评估沙箱使用时，不需要它精确预测每一帧，只需要它能在关键物理约束上给出判定。推荐配合轻量规则使用：接触检测、目标物体是否仍然存在、末端是否离开可视区域。

5.4 做异常检测

一个额外且有价值的用途是“现实差距检测器”。当视频世界模型的预测帧与真实传感器帧差异过大时，往往说明当前环境出现了模型没见过的情况，例如物体被意外碰倒、光照突变、相机被遮挡。

这类信号可以作为机器人安全机制的输入：预测误差超过阈值就暂停，等待人工确认。实现成本低，收益却很直接。

6. 真实项目里最容易踩的坑

6.1 长程预测漂移

现象是前 10 帧预测清晰，到 50 帧后画面开始模糊、物体边缘融化甚至消失。

原因是自回归预测中误差逐帧累积，模型一旦误判了上一帧，下一帧的输入就不是真实分布。

检查方式：用同一组起始帧分别 rollout 16、32、64 步，对比 FVD 或 LPIPS 的上升曲线。

处理建议：

• 训练时给输入帧加高斯噪声，模拟预测误差，增强模型鲁棒性。
• 不要坚持自回归到底，尝试窗口式预测或非自回归扩散模型。
• 在 MPC 里缩短规划时域，长时程任务用短时域滚动完成。

6.2 动作不可控

现象是给定相同的 z_t，模型多次生成的结果差异很大；或者把 z_t 设为零向量，画面仍然在乱动。

原因是潜在动作与视觉变化之间的映射不够强，模型学会了“靠随机性生成视频”，而不是“按动作生成视频”。

检查方式：在验证集上单独计算 latent action reconstruction loss，如果明显高于训练集，基本可以断定 z_t 没有真正控制生成过程。

处理建议：

• 调大 inverse_loss_weight，甚至先单独预训练逆动力学模型。
• 降低 latent_dim，强制 z_t 编码最重要的变化因素。
• 使用未来多帧条件化，让 z_t 负责一段连续动态，而不是一帧。

6.3 跨具身分布偏移

现象是在训练机器人上预测正常，换到新机器人后画面快速崩溃，或者动态明显不合理。

原因是训练数据里的新机器人形态、视角或动作空间覆盖不足。

检查方式：按 embodiment_id 分组统计验证集指标。如果某个组别的 FVD 明显高于其他组，就是分布覆盖问题。

处理建议：

• 优先补充该形态的视频数据，而不是盲目增加总体数据量。
• 增强 embodiment embedding 的规模，但要注意防止 embedding 直接“背下”每个机器人的外观，导致跨形态能力丢失。
• 在训练时做域随机化，包括相机视角、光照、背景纹理，减少对表面特征的依赖。

6.4 视频指标好看但任务失败

现象是 FVD 或 LPIPS 分数很漂亮，但放进 MPC 后任务成功率低。

原因是这些指标衡量的是全局图像相似度，而机器人任务通常对局部接触细节极敏感。手是否碰到物体、物体是否被推动 1 厘米，在 FVD 分数里几乎看不出来。

检查方式：对接触区域单独计算指标，比如手部与物体的相交面积、目标物体的关键点位置误差、物体速度曲线。

处理建议：

• 在训练损失里增加局部 patch 的权重。
• 引入关键点或光流损失，让模型在接触细节上更精确。
• 评测指标与任务指标分离：视频质量指标用于监控训练，任务成功率用于最终验收。

问题现象	常见原因	检查方式	处理建议
长程预测模糊	自回归误差累积	对比 16/32/64 步 FVD	输入噪声注入、窗口预测、缩短规划时域
同一动作生成结果乱跳	潜在动作与画面变化映射弱	验证集 latent action loss	调大逆动力学权重、降低 latent_dim、未来多帧条件化
换新机器人后崩溃	数据覆盖不足	按 embodiment 分组评测	补充形态数据、增强 embedding、域随机化
视频指标好但任务失败	接触细节建模弱	局部区域单独评测	局部 token 加权重、关键点/光流损失

排查这类模型时，不要只看 loss 曲线。最有效的做法是先确定“现象属于哪一层”：是 tokenizer 重建失败，是动态预测错误，还是潜在动作没控制住。三个模块的错误在日志和指标上的表现完全不同，混在一起排查会浪费大量时间。

7. 可复用的评测清单与下一步方向

7.1 发布或实验前检查清单

这份清单适合在每次实验迭代结束时过一遍，避免“看起来训练好了但说不清作用在哪”的窘境。

• 数据清单：每个 embodiment 的视频量是否足够；动作与画面变化是否对齐；验证集是否包含训练集没有的 embodiment。
• 可控性检查：随机给两帧，抽一个 z_t，让世界模型从第一帧生成，看是否逼近第二帧。
• 短程预测检查：5 到 10 步内，目标物体位置误差是否可接受。
• 长程预测检查：30 步以上是否出现物体消失或穿模。
• 跨具身检查：对验证集中每个 embodiment 单独出指标，是否都在可接受范围。
• 任务一致性检查：在真实环境执行世界模型选出的动作，任务成功率是多少。
• 计算资源记录：单帧推理延迟、GPU 显存占用、每秒训练步数，方便后续工程优化。

7.2 工程上可以扩展的方向

1. 提升 tokenizer 的时间和空间一致性。当前很多方案单独压缩每帧，忽略了帧间时序；用视频 tokenizer 或 3D 卷积可以改善长期一致性。
2. 引入 3D 几何先验。纯像素学习在接触、遮挡场景下容易出错；结合深度图或点云做条件化，可以在不损失泛化能力的前提下提高物理合理性。
3. 与低维状态估计融合。像素预测负责外观，低维状态估计负责关节、物体位姿，两头合并能降低预测不确定度。
4. 多模态条件控制。通过语言指令或声音事件控制视频生成，能进一步扩大模拟器可用范围。
5. 多阶段训练。先在合成数据上预训练通用动态，再用真实跨具身视频微调，可以显著降低真实数据需求量。

7.3 给新手的实践建议

如果要从零进入这个方向，建议不要一开始就追求大规模跨具身零样本。先在一个固定机器人、一个固定场景上把“动作可控的视频预测”跑通，确认模型能根据潜在动作生成合理未来帧；再逐步加入第二个机器人、第三个机器人，观察跨具身能力是否随着数据多样性自然出现。

真正的难点不在于堆模型参数，而在于动作表示、评测指标和数据分布控制这三件事。把这三件事想清楚，CLAP 所代表的“视频世界模型当物理模拟器”的思路，才有可能从一个研究概念变成能落地的工程能力。