1. 具身模型到底在解决什么问题
1.1 从“看懂世界”到“改变世界”的鸿沟
过去十年，深度学习在感知任务上取得了令人瞩目的成绩。图像分类、目标检测、语义分割这些任务，本质上都是在做一件事：理解当前画面里有什么。你给模型一张图，它告诉你图里有猫、有车、有红绿灯，任务就算完成了。但如果我们想让机器人真正干活，光“看懂”远远不够——它得知道“接下来该怎么做”。
这就是具身模型要填的坑。具身智能的核心命题是：一个智能体如何在真实物理环境中，根据当前观测做出动作决策，并最终完成某个目标。这里的关键词是“动作”。感知模型输出的是标签或框，具身模型输出的是动作序列——关节角度、末端执行器位姿、夹爪开合指令等等。
我刚开始接触这个方向的时候，最直观的感受就是：传统模仿学习的方法太脆了。你采集几百条演示数据，训练一个策略网络，在训练分布内看着还行，一旦物体位置偏了几厘米、光照变了一点、背景换了个颜色，策略就直接崩了。根本原因在于，模型没有真正理解“世界是怎么运转的”，它只是记住了“在这个像素模式下该输出什么动作”。
1.2 世界模型为什么成了破局关键
OpenWAM 团队提出的 WAM（World-Action Model）思路，核心洞察就在这里：要让模型学会做动作，先得让它学会预测世界会怎么变。这个逻辑其实很符合直觉。你教一个小孩拧瓶盖，他不会只看你手部的运动轨迹，他同时在看瓶盖怎么转、瓶子怎么动、手和瓶盖之间的相对位置怎么变化。也就是说，他在构建一个关于“拧”这个动作的物理直觉。
WAM 的做法是把世界模型和动作模型耦合在一起训练。世界模型负责预测“如果我执行动作 a，下一时刻的观测会变成什么样”，动作模型则反过来利用世界模型的预测能力来指导动作生成。这两者互相促进：世界模型预测得越准，动作模型就越知道什么动作能带来期望的未来状态；动作模型探索得越多，世界模型见到的状态转移样本就越丰富。
这个思路和预训练语言模型的逻辑有相通之处。你看 RoBERTa 中文预训练模型，它通过大规模语料学习语言的统计规律，然后微调到具体任务上。WAM 也是先在大规模视频数据上预训练世界模型，让它学会“物理世界的语法”，然后再微调到具体机器人平台上。区别在于，语言的“语法”是离散的符号规则，而物理世界的“语法”是连续的动力学规律。
1.3 谁适合关注这个方向
如果你是从传统机器人规划、控制方向过来的，你会发现 WAM 这套东西和你熟悉的运动学、动力学建模有本质区别。传统方法依赖精确的物理模型和手工设计的代价函数，而 WAM 走的是数据驱动的路子，用神经网络来隐式地建模物理规律。两种思路各有优劣，但后者在非结构化环境中的泛化能力明显更强。
如果你是从计算机视觉或 NLP 转过来的，那你对预训练、微调这套范式已经很熟了。WAM 的有趣之处在于，它把预训练的思路从离散符号空间搬到了连续物理空间。你需要额外补的课是机器人学基础——坐标系变换、运动学链、控制频率这些概念，不然看论文里的公式会一头雾水。
如果你是做强化学习出身，WAM 和 model-based RL 有大量交集。区别在于，传统 model-based RL 里的 dynamics model 通常是个小网络，只用来辅助策略搜索；而 WAM 里的世界模型本身就是一个大规模预训练模型，它的预测能力足够强，可以直接用来做规划。
2. WAM 的核心设计拆解
2.1 世界模型和动作模型怎么耦合
WAM 的架构设计有一个很关键的选择：世界模型和动作模型共享底层表征。什么意思呢？就是模型在编码当前观测的时候，不是分别给世界模型和动作模型各编码一套特征，而是用同一个编码器提取出一个共享的隐状态，然后从这个隐状态分叉出两个预测头。
这样做的好处很明显。共享编码器迫使模型学到的表征同时包含“当前状态是什么”和“当前状态下该做什么”两方面的信息。如果分开编码，世界模型可能只关注视觉纹理、光照变化这些和动作无关的因素，动作模型可能只关注和动作直接相关的局部特征，两者学到的表征是割裂的。共享之后，表征被迫变得既紧凑又信息丰富。
具体实现上，编码器通常是一个 Vision Transformer 或 ConvNeXt 骨干网络，输入是当前帧（可能还有历史帧），输出是一组 token 特征。世界模型头接一个时序预测模块，比如因果 Transformer 或扩散模型，预测未来若干帧的观测。动作模型头接一个动作解码器，输出动作序列。
训练时的损失函数是联合优化的：世界模型的预测损失加上动作模型的模仿损失，再乘上各自的权重系数。这个权重系数很关键，我后面会详细说怎么调。
2.2 预训练阶段到底在学什么
WAM 的预训练阶段用的是大规模视频数据，不需要动作标签。这一点非常重要，因为带动作标签的机器人数据极其昂贵，而纯视频数据在互联网上浩如烟海。
预训练的任务设计有几个层次。最基础的是帧预测：给定前 t 帧，预测第 t+1 帧。这个任务迫使模型学习时序动态。但光有帧预测不够，因为模型可能学会“抄近路”——直接复制上一帧的像素，因为相邻帧通常很相似。所以还需要加入掩码重建任务：随机遮挡一部分图像块，让模型根据上下文恢复出来。这和 MAE 的思路类似，迫使模型理解场景的语义结构。
更高级的预训练任务是动作条件预测。虽然预训练数据没有真实动作标签，但可以通过光流或轨迹追踪提取出伪动作标签。然后用这些伪标签训练世界模型做“给定伪动作，预测下一帧”的任务。这样预训练出来的世界模型，在微调阶段就能更快地适应真实动作空间。
我实测下来，预训练阶段的数据量和数据多样性比模型参数量更重要。你用 100 万条视频训练一个 1 亿参数的模型，效果通常比用 10 万条视频训练一个 10 亿参数的模型要好。这和 YOLO 预训练权重下载的逻辑类似——YOLOv8 的预训练权重之所以好用，是因为它在 COCO 这种大规模多样化数据集上训过，见过的场景足够丰富。
2.3 动作空间的表示选择
WAM 在动作表示上做了一个有意思的取舍。它没有直接用关节角度，而是用末端执行器的 6D 位姿增量作为动作表示。6D 位姿就是位置 xyz 加上旋转的 6 维表示（通常用旋转矩阵的前两列或者 6D 连续表示法）。
为什么这么选？关节角度是机器人相关的，不同机器人的关节数量和构型完全不同，用关节角度训练出来的模型没法跨平台迁移。而末端执行器位姿是任务相关的，不管你是 6 自由度机械臂还是 7 自由度，末端执行器的运动轨迹在任务层面是统一的。这就好比 ResNet 预训练模型提取的特征可以迁移到各种下游任务，因为底层特征（边缘、纹理）是通用的；WAM 用末端位姿作为动作表示，也是为了让学到的动作知识能跨机器人迁移。
当然这个选择也有代价。从末端位姿到关节角度需要做逆运动学求解，这个过程可能无解或者多解，引入额外的计算开销和不确定性。OpenWAM 团队的做法是，在微调阶段加一个轻量的逆运动学网络，把末端位姿映射到具体机器人的关节角度。这个网络不需要预训练，用少量目标机器人的数据就能训好。
2.4 时序建模的架构选型
WAM 在世界模型的时序建模上用了因果 Transformer。为什么不用 RNN 或 LSTM？因为 Transformer 的注意力机制能直接建模任意两个时间步之间的依赖关系，而 RNN 需要逐步传递隐状态，长程依赖容易丢失。在机器人操作任务中，一个动作的影响可能持续好几秒，比如推一个物体，推力消失后物体还会因为惯性继续滑动。这种长程依赖用 Transformer 建模更自然。
但因果 Transformer 有个问题：推理时是自回归的，每一步都要重新计算注意力，速度很慢。对于需要高频控制的机器人任务，比如 100Hz 的控制频率，每 10ms 就要出一次动作，自回归推理根本来不及。OpenWAM 的解决方案是并行解码：一次性预测未来 K 步的动作，而不是一步一步往外蹦。这样虽然牺牲了一点灵活性（不能根据最新观测实时调整），但换来了推理速度的大幅提升。实际部署时，K 通常取 8 到 16，对应 80ms 到 160ms 的前瞻窗口，对大多数操作任务够用了。
3. 从零复现 WAM 的关键步骤
3.1 数据管线的搭建
复现 WAM 的第一步是搭数据管线。预训练数据我建议从公开视频数据集入手，比如 Something-Something V2、Epic-Kitchens、Ego4D 这些。这些数据集都是第一人称视角的操作视频，和机器人操作任务的视角比较接近。
数据预处理有几个关键点。第一是帧率对齐。不同数据源的帧率不一样，有的 30fps，有的 60fps，需要统一重采样到固定帧率，通常 10fps 或 15fps 就够了。太高的帧率会让相邻帧几乎一样，浪费计算；太低的帧率会丢失快速动作的细节。
第二是分辨率归一化。统一缩放到 224x224 或 256x256，这是 ViT 类模型的标准输入尺寸。但要注意保持宽高比，不要直接拉伸，否则物体会变形，影响动作预测。我的做法是短边缩放到目标尺寸，长边中心裁剪。
第三是伪动作标签提取。用 RAFT 或 FlowFormer 这类光流网络计算相邻帧的光流，然后把光流聚合成一个全局的运动向量，作为伪动作标签。这个标签很粗糙，但预训练阶段够用了。微调阶段换成真实动作标签就行。
数据管线的吞吐量很关键。我一开始用 PyTorch 的 DataLoader 单进程加载，GPU 利用率只有 30% 不到。后来改成 WebDataset 格式加多进程预取，GPU 利用率直接拉到 90% 以上。这个坑踩过一次就知道了：数据加载永远是第一个瓶颈。
3.2 模型初始化的参数选择
WAM 的编码器我建议用预训练好的 ViT 或 ConvNeXt 权重初始化，不要从零训。这和 YOLO 预训练模型下载的逻辑一样——骨干网络在 ImageNet 上已经学会了提取通用视觉特征，你只需要微调它适应视频时序就行。
世界模型头的 Transformer 层数建议 12 到 24 层，隐藏维度 768 到 1024。层数太少，时序建模能力不够；层数太多，推理速度受不了。我试过 32 层的配置，效果比 24 层好了不到 2%，但推理时间翻了一倍，不划算。
动作模型头可以轻量一些，6 到 8 层 Transformer 就够了。因为动作空间的维度远低于视觉空间，不需要那么大的容量。动作解码器输出的是高斯分布的均值和方差，用负对数似然损失训练。
学习率设置上，编码器用 1e-5 到 5e-5，世界模型头和动作模型头用 1e-4 到 3e-4。编码器学习率低是因为它已经有预训练权重了，学太快容易把预训练知识冲掉。这个比例关系是我试了好几组配置后总结出来的，不一定最优，但比较稳。
3.3 训练过程的监控指标
训练 WAM 的时候，光看 loss 曲线是不够的。世界模型的预测 loss 下降，不代表预测出来的未来帧在视觉上合理——模型可能学会了预测模糊的平均帧，loss 很低但画面糊成一团。
我通常会监控三个指标。第一是预测帧的 LPIPS 距离，这个指标比 MSE 更贴近人眼感知。LPIPS 降到 0.1 以下，说明预测帧在感知上已经比较清晰了。第二是动作预测的平滑度，计算相邻时间步动作的加速度，如果加速度抖动很大，说明策略不稳定。第三是闭环成功率，在仿真环境里跑 100 次任务，看成功多少次。这个指标最直接，但计算成本也最高，通常每训练 10 个 epoch 跑一次。
注意：不要只看训练 loss 来判断模型好坏。我见过训练 loss 降到 0.001 但闭环成功率只有 20% 的模型，原因是过拟合了训练集的特定场景，换个初始位置就废了。
3.4 微调到目标机器人的实操
微调阶段需要用目标机器人的演示数据。数据量不需要很大，每个任务 50 到 100 条演示通常就够了。关键是演示的多样性：物体位置要随机化，光照条件要变化，背景要换几种，这样微调出来的策略才能泛化。
微调时冻结编码器的前几层，只训后几层和世界模型头、动作模型头。冻结比例大概 50% 左右。全量微调容易过拟合小数据集，只训最后几层又不够适应新平台。50% 是个经验值，你可以根据数据量调整：数据多就多训几层，数据少就少训几层。
微调的学习率要比预训练低一个数量级，用 1e-5 左右。训练 epoch 数 20 到 50 就够了，再多就过拟合了。我一般用早停法，验证集 loss 连续 5 个 epoch 不降就停。
4. 实操中踩过的坑和排查技巧
4.1 世界模型预测模糊怎么办
这是最常见的问题。世界模型预测的未来帧模糊不清，说明模型在“求平均”——面对不确定的未来，它选择预测所有可能未来的均值，而不是某一个具体的未来。均值在视觉上就是模糊的。
解决方案有几个。第一是改用扩散模型做世界模型的输出头，扩散模型天然能建模多模态分布，不会求平均。代价是推理速度慢，需要多步去噪。第二是加对抗损失，用一个判别器区分预测帧和真实帧，迫使预测帧变清晰。第三是增大预测步长，不要只预测下一帧，一次性预测未来 4 帧或 8 帧，模型被迫学到更长程的动态，模糊问题会缓解。
我试过扩散模型头，效果最好但推理速度从 20ms 涨到了 200ms，实时控制根本没法用。后来改用对抗损失加多步预测的组合，推理速度保持在 30ms 以内，预测帧的 LPIPS 从 0.25 降到了 0.12，够用了。
4.2 动作抖动怎么抑制
动作抖动是另一个高频问题。策略输出的动作序列在高频上抖得厉害，机器人执行起来咔咔响，对机械结构损伤很大。
根本原因通常是动作模型对观测噪声太敏感。输入帧稍微变一点，输出的动作就跳一大截。解决方案是在动作解码器后面加一个时序平滑层，比如用滑动平均或者低通滤波。但平滑会引入延迟，滤波窗口越长延迟越大。我的经验是窗口取 3 到 5 帧，对应 200ms 到 300ms 的延迟，在操作任务中可以接受。
另一个思路是在损失函数里加动作平滑正则项，惩罚相邻时间步动作的差异。这个正则项的权重需要调，太大动作会变得迟钝，太小起不到平滑效果。我一般从 0.01 开始试，根据抖动程度调整。
4.3 仿真到现实的迁移 gap
在仿真里训好的策略，搬到真机上效果打折扣，这是具身智能的老大难问题。WAM 虽然通过预训练提升了泛化能力，但仿真和现实的视觉差异、动力学差异仍然存在。
视觉差异方面，我通常用域随机化：在仿真里随机改变光照、纹理、相机参数，让模型见过足够多的视觉变化，到了现实中对新的视觉条件就不那么敏感了。动力学差异方面，可以在仿真里随机化物体的质量、摩擦系数、关节阻尼，让策略对动力学参数的变化鲁棒。
还有一个技巧是在真机上做少量在线微调。部署到真机后，用 10 到 20 条真机演示数据再微调几个 epoch，效果通常能提升 20% 到 30%。这个微调成本很低，但收益很大，强烈建议做。
4.4 常见问题速查表
| 问题现象 | 可能原因 | 排查方法 | 解决方案 |
|---|---|---|---|
| 预测帧模糊 | 世界模型求平均 | 计算预测帧的方差 | 加对抗损失或扩散头 |
| 动作抖动 | 对观测噪声敏感 | 可视化动作序列 | 加时序平滑或正则项 |
| 闭环成功率低 | 过拟合训练场景 | 换初始位置测试 | 增加数据多样性 |
| 推理速度慢 | 自回归解码 | 测单步推理时间 | 改并行解码 |
| 仿真到现实 gap 大 | 视觉/动力学差异 | 对比仿真和真机观测 | 域随机化加在线微调 |
| 训练 loss 不降 | 学习率不当 | 检查梯度范数 | 调学习率或加 warmup |
提示：排查问题时，永远从数据开始查。我遇到过的 bug 里，70% 以上是数据问题——标注错了、帧对齐错了、归一化参数不对。模型本身的问题反而少。
5. 这个方向后续还能怎么玩
5.1 多模态融合的想象空间
WAM 目前主要处理视觉观测和动作输出。但真实操作任务中，触觉信息极其重要。拧瓶盖的时候，你不仅在看瓶盖转，还在感受拧的力矩。如果能把触觉传感器信号也纳入世界模型的预测目标，模型对接触-rich 任务的理解会深很多。
语言指令的融合也是一个方向。现在的大模型已经能很好地理解自然语言指令，如果把语言指令编码后作为世界模型的条件输入，模型就能做“指令条件的世界预测”——给定“把红色积木放到蓝色盒子里”这个指令，预测执行过程中的观测变化。这样训练出来的策略，泛化到新指令的能力会强很多。
5.2 长程任务的分层规划
WAM 目前主要做短程操作，一个动作序列大概几秒钟。但真实任务往往是长程的，比如“收拾桌子”可能需要几分钟，包含几十个原子动作。直接让 WAM 预测几分钟的动作序列，计算量和误差累积都受不了。
分层规划是一个自然的扩展。上层用一个语言模型或高层规划器把长程任务拆成子目标，下层用 WAM 执行每个子目标。子目标之间的切换可以用世界模型的预测误差来触发——当实际观测和世界模型预测的偏差超过阈值时，说明当前子目标可能已经完成或者出了意外，需要重新规划。
5.3 数据飞轮的构建
WAM 的预训练需要大量数据，微调需要目标机器人的演示数据。如果每次换一个新任务都要重新采集几百条演示，成本太高了。构建一个数据飞轮是规模化的关键。
思路是让机器人在执行任务的过程中自动收集数据，用成功和失败的轨迹一起训练。失败的轨迹也有价值——它告诉模型“这样做不行”，相当于负样本。配合少量的人工演示做引导，机器人可以自己探索出越来越多的技能。这个过程中，世界模型的预测误差可以作为内在奖励，驱动机器人探索预测不准的状态区域，也就是“最不确定该怎么做”的区域。
我在一个小型实验里试过这个思路，让机器人在仿真里自己玩 100 万步，然后微调。结果发现，预训练加自探索的组合，比纯预训练加人工演示的成功率高 15% 左右。当然这个实验规模很小，结论不一定普适，但方向是值得深挖的。
5.4 硬件部署的工程考量
最后聊一下部署。WAM 的参数量通常在 1 亿到 10 亿之间，推理需要 GPU。如果机器人是移动平台，功耗和散热都是问题。我试过用 Jetson Orin 跑量化后的 WAM，INT8 量化后模型大小压到 500MB 以内，推理延迟 50ms 左右，对于 20Hz 的控制频率够用了。
量化会带来精度损失，通常闭环成功率会降 5% 到 10%。如果接受不了，可以考虑模型剪枝加知识蒸馏的组合：先用大模型教小模型，再把小模型量化。这样精度损失能控制在 3% 以内。
通信方面，如果 GPU 不在机器人本体上，需要走网络传输观测和动作。这时候网络延迟和抖动会直接影响控制效果。我的做法是在机器人端做观测压缩，只传关键帧和特征，不传原始图像。动作端做预测补偿，根据历史动作和当前观测预测未来几帧的动作，抵消网络延迟。
这个方向工程细节极多，每个机器人平台都有自己的坑。但核心逻辑是一致的：世界模型提供预测能力，动作模型提供执行能力，两者耦合训练，预训练提供泛化基础，微调适配具体平台。把这几个环节都跑通，具身模型就能真正在物理世界里干活了。
