PRISM：视频生成模型驱动人形机器人搬运技能零微调迁移

1. 从"搬箱子"这个动作说起：PRISM到底解决了什么

人形机器人学会搬东西这件事，听起来好像没那么难——不就是弯腰、伸手、抓取、抬起来吗？但真正做过机器人学习的人都知道，让一个双足人形机器人在真实环境里稳定完成"搬起一个箱子并放到指定位置"这个动作，背后要处理的问题多到让人头皮发麻：重心偏移、抓取点选择、手臂与躯干的协调、地面摩擦力的不确定性、物体重量分布的未知性……每一项单独拎出来都够一个团队啃上几个月。

传统做法是什么？要么靠人工遥操作采集大量真实数据，要么在仿真环境里用强化学习训练策略再迁移到真机。前者成本极高——你想想，让一个操作员穿着动捕设备一遍遍演示搬箱子的动作，一天下来能采多少条有效数据？后者则面临著名的"仿真到现实鸿沟"（sim-to-real gap）：仿真里的物理参数再精细，和真实世界的摩擦力、形变、传感器噪声之间总有差距，策略迁移过去往往直接崩掉。

PRISM这篇工作的核心思路，是用视频生成模型来"造"出大量教学片，让机器人在不进行任何微调的情况下，直接学会搬运技能。标题里说的"256段教学片"不是随便凑的数——这个数字背后是经过精心设计的任务多样性和场景覆盖度。而"零微调"三个字才是真正让人兴奋的地方：意味着训练好的策略直接部署到真机上就能跑，不需要针对特定机器人做参数调整。

这套范式的关键词是real-to-sim-to-real：从真实场景出发，构建仿真环境，在仿真中生成大量视频教学数据，训练策略，再回到真实世界执行。PRISM的创新点在于，它把视频生成模型作为"数据工厂"嵌入到这个闭环里，用生成视频替代了传统仿真中手工设计的奖励函数和域随机化策略。

适合谁来读这篇内容？如果你是从业者，正在做机器人学习、具身智能、视频生成应用方向，这篇能帮你理清"视频生成+机器人策略学习"这条技术路线的关键设计决策。如果你是学生或刚入行的工程师，这篇能让你理解为什么"让机器人搬东西"这件事值得用256段视频去教，以及零微调迁移到底难在哪里。

2. 为什么是视频生成，而不是继续堆仿真数据

2.1 仿真数据的瓶颈不在数量，在"物理直觉"

很多人第一反应是：仿真环境里我可以生成无限多的数据啊，为什么要用视频生成？这个问题的答案藏在仿真数据的本质缺陷里。

仿真环境里的物理引擎——无论是MuJoCo、Isaac Sim还是PyBullet——都是基于刚体动力学和简化的接触模型。它们能算清楚一个方块在平面上的滑动摩擦，但算不清楚一个软包装箱被抓起时表面的凹陷和形变；能模拟理想铰链的转动，但模拟不了真实机器人关节里齿轮间隙带来的微小抖动。这些"算不清楚"的部分，恰恰是真实操作中最影响成功率的地方。

更关键的是，仿真里的视觉观测和真实世界的视觉观测之间存在巨大差异。光照、材质反射、相机噪声、运动模糊——这些在仿真里要么被简化，要么被忽略。一个在仿真里训练到95%成功率的策略，换到真机上可能连30%都不到。

2.2 视频生成模型带来的"物理合理性"

PRISM选择视频生成模型作为数据来源，核心逻辑是：大规模视频生成模型在训练过程中已经隐式学到了大量真实世界的物理规律。一个能生成"人手拿起杯子"视频的模型，它内部已经编码了重力方向、物体遮挡关系、接触时的形变模式这些信息。虽然它不一定能精确计算出力矩，但它生成的视频在视觉上是"物理合理"的。

这就给机器人学习提供了一个全新的数据源：不是精确的物理仿真，而是视觉上合理、物理上近似正确的视频序列。机器人策略网络从这些视频中学习"看到什么状态应该做什么动作"，而不是从精确的物理方程中推导控制量。

这里有一个容易混淆的点：PRISM并不是让视频生成模型直接输出机器人的关节角度。它生成的是"教学片"——也就是包含动作执行过程的视频，然后通过逆动力学或行为克隆的方式，从视频中提取出可执行的动作序列。

2.3 256段视频的"多样性设计"

为什么是256段？这个数字不是拍脑袋定的。在机器人学习中，策略的泛化能力高度依赖于训练数据的多样性覆盖。PRISM的256段教学片覆盖了以下维度的组合：

维度	覆盖范围	设计意图
物体形状	长方体、圆柱体、不规则包裹	让策略学会适应不同几何特征
物体重量	轻载、中载、重载	训练力控和重心调整能力
初始位姿	不同朝向、不同距离	避免策略对特定起始状态过拟合
目标位置	不同高度、不同水平偏移	训练轨迹规划和末端定位
环境光照	明暗变化、阴影方向	提升视觉特征的鲁棒性

这256段视频不是简单随机生成的，而是按照上述维度做了正交化设计。每一段视频对应一组特定的任务参数组合，确保策略在训练时能见到足够多样的状态-动作对。

2.4 零微调的真正含义

"零微调"在PRISM的语境下，指的是策略网络在仿真中训练完成后，不经过任何针对真实机器人的参数调整或在线学习，直接部署到真机上执行。这听起来很激进，但背后的逻辑是：如果训练数据的视觉分布和真实世界的视觉分布足够接近，那么策略网络学到的特征提取器就能直接迁移。

这里的关键在于，PRISM用视频生成模型生成的教学片，其视觉风格和真实相机拍摄的画面在统计特性上是接近的——因为视频生成模型本身就是用海量真实视频训练的。相比之下，传统仿真渲染出来的画面往往有明显的"塑料感"，策略网络在仿真里学到的特征在真机上完全失效。

实操心得：如果你也在做sim-to-real迁移，不要只盯着物理参数的域随机化。视觉域的随机化——特别是光照、材质、相机内参的扰动——往往对迁移成功率的影响更大。PRISM的思路本质上是用生成模型替代了手工设计的视觉域随机化。

3. PRISM的三段式流水线：从真实到仿真再回到真实

3.1 第一阶段：真实场景的"种子采集"

PRISM的起点不是凭空生成，而是从真实场景中采集少量"种子数据"。具体来说，研究团队用真实相机拍摄了若干段人类操作者搬运物体的视频，以及真实机器人在遥操作下执行搬运任务的视频。这些视频的作用不是直接用来训练策略，而是用来校准视频生成模型的条件输入。

为什么需要这一步？因为纯文本条件的视频生成模型（比如输入"一个机器人搬起箱子"）生成的视频虽然看起来合理，但机器人的外观、相机的视角、场景的布局可能和你的实际部署环境完全对不上。用真实种子数据做条件，可以让生成的视频在视觉上更贴近你的目标场景。

种子数据的采集要点：

• 相机位置和视角要固定，和后续真机部署时保持一致
• 光照条件要覆盖你实际部署环境的典型情况
• 至少采集10-20段不同物体、不同位姿的搬运视频作为条件参考

3.2 第二阶段：仿真环境中的"视频工厂"

这是PRISM最核心的环节。在仿真环境中，研究团队搭建了一个和真实场景对应的数字孪生——包括机器人模型、物体模型、桌面或地面、相机视角。然后，他们用视频生成模型在这个仿真环境中"拍摄"256段教学片。

具体流程是这样的：

1. 任务参数采样：从预设的任务分布中采样一组参数（物体形状、重量、初始位姿、目标位置等）
2. 条件视频生成：将任务参数和种子数据的视觉特征作为条件输入视频生成模型，生成一段包含完整搬运过程的视频
3. 动作提取：从生成的视频中，通过光流或关键点跟踪提取机器人末端执行器的运动轨迹
4. 逆运动学求解：将末端轨迹转换为机器人关节角度序列
5. 质量筛选：对生成的动作序列进行物理可行性检查（关节限位、速度限制、碰撞检测），剔除不合格的样本

这个流程的关键创新在于第2步和第3步：视频生成模型不需要输出精确的关节角度，它只需要生成视觉上合理的动作过程，后续的动作提取和逆运动学求解由传统机器人学方法完成。这种"生成+提取"的解耦设计，大大降低了视频生成模型的输出精度要求。

3.3 第三阶段：策略训练与真机部署

有了256段教学片提取出的状态-动作对，接下来的策略训练就是相对标准的行为了。PRISM采用的是一个基于视觉的模仿学习框架：

• 输入：当前时刻的RGB图像（来自机器人头部相机）+ 机器人本体感受（关节角度、末端位姿）
• 输出：目标关节角度增量或末端执行器目标位姿
• 网络结构：ResNet视觉编码器 + Transformer时序建模 + MLP动作头
• 训练目标：最小化预测动作与教学片提取动作之间的L2距离，外加一个辅助的对比学习损失来增强视觉特征的判别性

训练完成后，策略网络直接部署到真实人形机器人上。真机执行时，机器人接收实时相机图像，输出动作指令，驱动关节运动。整个过程不需要任何针对真机的参数调整。

注意：零微调不等于零适配。PRISM在部署时仍然需要确保相机内参、图像分辨率、关节顺序等底层接口和训练时一致。这些属于工程层面的适配，不涉及策略网络参数的修改。

4. 视频生成模型在机器人学习中的"能力边界"

4.1 生成视频的物理一致性有多可靠

这是所有人都会问的问题：视频生成模型生成的"搬箱子"视频，物理上真的靠谱吗？答案是：在视觉层面足够靠谱，在动力学层面只能算近似。

具体来说，视频生成模型能很好地处理：

• 物体的遮挡关系（手在箱子前面还是后面）
• 重力的视觉表现（箱子被抬起时手臂的弯曲程度）
• 接触的视觉线索（手指与箱子表面的贴合）

但它在以下方面容易出问题：

• 精确的力反馈（箱子多重、需要多大握力）
• 快速运动时的运动模糊和形变
• 多物体交互时的碰撞响应

PRISM的应对策略是：不依赖视频生成模型输出精确的物理量，而是把视频当作"视觉教学"，动作的物理可行性由后续的逆运动学求解和碰撞检测来保证。换句话说，视频生成模型负责"看起来对"，传统机器人学方法负责"做起来对"。

4.2 生成视频的多样性控制

256段视频的多样性不是靠随机采样就能保证的。PRISM在生成时采用了分层条件生成策略：

• 第一层：任务类型（搬起、放下、搬运、堆叠）
• 第二层：物体属性（形状、尺寸、重量）
• 第三层：场景布局（初始位置、目标位置、障碍物）
• 第四层：视觉条件（光照、相机视角、背景）

每一层内部再做均匀采样，确保不会出现"80%的视频都是搬同一个箱子"这种分布偏斜。这种分层设计还有一个好处：当发现策略在某个特定任务上表现不好时，可以针对性地增加该层的采样密度，重新生成补充数据。

4.3 从视频到动作的"信息损失"

视频生成模型输出的是像素序列，而机器人需要的是关节角度序列。这个转换过程中存在信息损失：

• 视频中的机器人末端位置是通过视觉估计的，精度受限于图像分辨率和遮挡
• 视频生成模型可能生成"视觉上合理但运动学上不可达"的动作（比如手臂穿过了自己的身体）
• 视频的帧率可能和机器人的控制频率不匹配

PRISM的处理方式是：在动作提取阶段加入运动学约束优化。具体来说，把从视频中提取的末端轨迹作为软约束，求解一个带关节限位、速度限制、自碰撞避免的优化问题。这样即使视频中的动作不完全可行，优化器也能找到最接近的可行解。

实操心得：如果你要复现类似的工作，建议在动作提取阶段保留原始视频的置信度信息。对于视觉估计置信度低的帧，在优化时降低其权重，让运动学约束起主导作用。这样可以避免因为视频生成模型的局部错误导致整段动作不可用。

5. 零微调迁移的工程细节与踩坑记录

5.1 相机标定：最容易被忽视的"隐形杀手"

零微调迁移最大的工程风险不在策略网络本身，而在相机标定的一致性。训练时用的仿真相机内参（焦距、主点、畸变系数）必须和真机部署时的实际相机内参严格对齐。哪怕焦距差了5%，策略网络看到的图像尺度就会变化，输出的动作幅度也会跟着偏。

PRISM在论文中特别强调了这一点：他们在仿真中使用的相机模型是经过真实相机标定后导入的，包括径向畸变和切向畸变系数。真机部署时，相机安装位置和角度也要和仿真中保持一致。

实际操作中，建议这样做：

1. 用棋盘格标定板对真实相机做完整标定，获取内参矩阵和畸变系数
2. 在仿真环境中用相同的内参矩阵配置虚拟相机
3. 真机部署前，再次标定确认相机没有因为安装或震动发生偏移
4. 如果相机位置有微小变化，优先调整仿真中的相机位姿来匹配真机，而不是重新训练策略

5.2 关节顺序和坐标系对齐

这是一个看起来很低级但实际很容易出错的问题：仿真环境中的关节索引顺序、旋转方向、坐标系定义，必须和真实机器人的SDK完全一致。PRISM在论文中没有详细展开这部分，但从工程实践来看，这是零微调迁移中最常见的失败原因之一。

具体检查清单：

• 关节索引：仿真中的joint_0对应真机的哪个关节？
• 旋转方向：仿真中正角度是逆时针，真机SDK是否一致？
• 末端坐标系：仿真中的末端执行器坐标系原点和朝向，和真机是否一致？
• 单位：仿真中用弧度，真机SDK是否用角度？

建议在正式部署前，先做一个"关节空间扫描"测试：让真机每个关节单独运动一个小角度，记录末端执行器的实际位移，和仿真中同样操作的位移做对比。如果发现系统性偏差，说明坐标系或单位有问题。

5.3 控制频率与动作平滑

PRISM的策略网络输出的是离散时间步的动作序列。仿真中的控制频率和真机的控制频率如果不一致，会导致动作执行速度不对。比如仿真中策略以10Hz输出动作，真机以100Hz执行，如果不做插值，机器人会以10倍速度完成动作，直接失控。

处理方式有两种：

• 时间对齐：在真机端做动作插值，把10Hz的动作序列上采样到100Hz
• 频率匹配：在仿真训练时就使用和真机相同的控制频率

PRISM采用的是第二种方式，在仿真中就把控制频率设置为真机的实际控制频率。这样做的好处是策略网络学到的动作时序和真机执行时序完全一致，不需要额外的插值处理。

5.4 安全兜底：零微调不等于零风险

即使策略在仿真中表现完美，真机部署时也必须要有安全兜底机制。PRISM在实验中设置了以下保护措施：

• 力矩限制：每个关节的最大输出力矩限制在额定值的70%以内
• 速度限制：关节角速度不超过安全阈值
• 工作空间限制：末端执行器不允许超出预设的安全工作空间
• 紧急停止：操作员手持急停按钮，一旦发现异常立即切断电机使能

这些措施在论文中可能只是一句话带过，但在实际部署中是必须的。零微调迁移的成功率再高，也不能保证100%不出问题。

6. 这套范式能复制到哪些场景

6.1 适合的任务类型

PRISM验证的是"搬起-搬运-放下"这一类准静态操作任务。这类任务的特点是：动作速度不快，惯性力影响小，视觉反馈足够指导动作调整。在这个范围内，视频生成模型提供的视觉教学足够支撑策略学习。

类似适合的任务还包括：

• 桌面整理（把散落物体归类放置）
• 开关门/抽屉
• 按钮操作和旋钮调节
• 简单的装配任务（插销、对位）

6.2 暂时不适合的任务类型

对于动态任务——比如接住抛过来的物体、快速翻转、需要精确力控的装配——PRISM的范式目前还不适用。原因在于视频生成模型对快速运动的建模能力有限，生成的视频在运动模糊和时序一致性上容易出问题。而且动态任务对力反馈的依赖远高于视觉反馈，纯视觉教学片提供的信息不够。

6.3 扩展到多机器人平台的潜力

PRISM的零微调特性意味着，同一套训练好的策略有可能直接部署到不同型号的机器人上——只要它们的相机配置和关节定义能够对齐。这为机器人技能的规模化复制提供了想象空间：一个团队训练好的搬运策略，可以快速部署到其他团队的机器人上，不需要重新采集数据和训练。

当然，这目前还只是潜力。不同机器人的运动学结构差异、相机安装位置差异、末端执行器差异，都会影响迁移效果。但PRISM至少证明了"训练一次，多处部署"这条路是走得通的。

7. 我个人的一些实操体会

做机器人学习这几年，我最大的感受是：数据质量比算法复杂度重要得多。PRISM这篇工作最打动我的地方，不是它用了多复杂的网络结构，而是它找到了一种低成本生成高质量教学数据的方法。256段视频听起来不多，但如果这256段视频覆盖了足够多样的任务参数组合，它们的信息量可能比10000段随机采集的真实数据还要大。

另一个体会是关于"零微调"的边界。零微调是一个很吸引人的目标，但它对工程一致性的要求极高。相机标定、关节映射、控制频率、坐标系定义——任何一个环节出问题，零微调都会变成"零成功"。如果你打算尝试类似的方法，建议先把工程链路打通，用一个简单的任务（比如固定位置抓取）验证整个pipeline的一致性，再上复杂的搬运任务。

最后分享一个小技巧：在生成教学视频时，可以故意加入一些"不完美"的样本——比如抓取时稍微偏了一点、搬运过程中物体有轻微滑动。这些样本能让策略学会从错误状态中恢复，而不是只会执行理想轨迹。PRISM的256段视频里应该也包含了这类"扰动样本"，虽然论文没有明确说，但从策略的鲁棒性表现来看，这是合理的推测。