1. 为什么"跨本体零样本部署"突然成了具身智能圈绕不开的话题
上个月我把一批在Franka臂上采集的叠衣服轨迹做了一次粗暴的跨本体实验：目标是让实验室里那台UR5e"零样本接管"这些策略。结果前四秒还挺像样，第五秒夹爪姿态直接拧成一个人类关节角度下根本不可能出现的形状，把旁边一台便宜的视觉传感器撞歪了。这就是跨本体零样本部署最真实的样子——它通常不是报错，而是用一本正经的置信度做出完全离谱的物理行为。
1.1 数据复用才是这个赛道的命门
先往回捋一捋：为什么现在整个具身智能方向都在谈跨本体？原因很朴素——数据太贵了。VR遥操作采集一条高质量操作轨迹，动辄需要几分钟甚至更久，一个人一天能采几十条已经算高产。而不同团队手里的机器人本体千差万别：六轴机械臂、七轴协作臂、双轮人形、四足加灵巧手，光是关节配置和相机安装位置就无法对齐。
用同一批演示数据只能训练自己的机器人，这其实是具身智能迟迟做不大的一个隐性原因。每个团队都在重复造轮子，而跨本体零样本部署真正想解决的问题，就是让一份数据、一个策略，能够在新机器人上直接工作，不必重新采集、重新训练。这个诱惑太大了——如果真能实现，意味着整个行业的数据资产可以互相流动，仿真数据可以覆盖真机数据的不足。
1.2 "零样本"这个词在论文和知乎里是两个意思
但先把概念问题说清楚。"零样本"被用得极其随意，我至少见过三种含义：
第一种，训练时完全没见过新本体的任何信息，部署时直接把旧策略搬到新机器人上； 第二种，训练时见过"本体描述"（文字、向量、embedding），部署时给新本体生成一个描述，策略在推理时靠提示词泛化； 第三种，训练时没有新本体的数据，但部署后允许策略利用本体自身的实时传感器做在线适应。
这三种难度完全不同。真正的"零样本"应该是第一种——一次前向推理，新本体直接完成任务。但实际上，行业里宣称的零样本跨本体，绝大多数是第二种甚至第三种。很多论文里说的"zero-shot",仔细看实验设置，新旧本体往往只是同一型号的两台机器，或者共享了高度一致的观测量和动作接口。这属于"参数平移"，跟大众理解的"真正意义跨本体"差了十万八千里。
1.3 人类学习路线是怎么被拉出来当借口的
伴随跨本体一起反复出现的，是"人类学习路线"这个概念。有人说：人类看视频就能学会叠衣服、开瓶盖，机器人也应该可以。这里面有个很隐蔽的类比错误。
人类当然可以看视频学到任务目标，但"知道该做什么"和"身体当场做得出来"中间，隔着几十年的物理交互经验积累。你从小到大摔倒过无数次，推过无数次门，掂量过无数次物体的重量——这套物理直觉藏在你的小脑、脊髓和肌肉协调回路里，绝不是看一段视频就能凭空获得的。婴儿期你连自己的身体都控制不好，那更谈不上"跨本体"。
所以我在跟同行聊这个话题时，习惯把零样本拆成两个维度：语义零样本和物理零样本。语义层面，VLA（Vision-Language-Action，视觉语言动作模型）已经能做到跨本体理解任务；但物理层面，也就是"新本体能稳定地做出这个动作"，目前几乎没有系统能真正实现。这个话题最值得深耕的，正是这个"现实边界"。
2. 人类跨身体迁移的真实机制：语义抽象加运动基元，不是动作拷贝
既然都在聊"人类学习路线"，那我们就认真看看人类跨本体迁移到底是怎么发生的。"本体"这个词在机器人里指硬件平台，在人类身上的对应物就是身体。人类最典型的跨本体场景是：你习惯开自己的车，偶遇一辆没开过的车，也能在几分钟甚至几十秒内把它开走，不需要重新学习驾驶。
2.1 人会开一辆没开过的车，靠的不是肌肉记忆
仔细拆开这个过程，你会发现人类并不是在做"动作拷贝"。你不需要知道这辆新车的方向盘要转多少角度、踏板踩多深，因为你的脑内已经有了一个高度抽象的模型："方向盘左转，车头就往左；刹车踏板踩下去，车会减速。"
这个抽象模型不绑定具体车身上的肌肉记忆，而是绑定空间因果逻辑。真正需要现场适应的，只有方向盘阻尼、踏板灵敏度和挡位手感这些"低层参数"。所以严格来说，人类换一辆车开并不是零样本，而是基于共享世界模型的极小样本重标定。上车之后调座椅、踩两脚刹车感受力度，这个过程本质上是在几十秒里把几个关键的动力学参数重新标定了一遍。
2.2 从人类经验提炼出的三条硬件设计启示
把人类的跨本体机制映射到机器人上，我认为可以得到三个直接可用的设计原则：
第一，策略的表示层应该面向任务语义和空间关系，而不是困死在某一个本体的关节角度里。人类脑子里存的是"把杯子放到咖啡机出水口下方"，而不是"肘关节转37度、肩关节抬12度"。前者可以在任何近似结构上执行，后者换一台机械臂就完全失效。
第二，策略输出应该落在"意图基元空间"级别，而不是原始关节坐标。末端执行器的增量位移、期望接触力、目标速度，这些是意图；而每个关节该怎么动来达成这个意图，交给底层控制器去解算。这个设计在近年来很多框架里已经出现了，但它不是所有团队都默认采用的。
第三，跨本体能力依赖一个不随本体变化的物理世界模型。人能判断"这杯水端过去会不会洒"，靠的是对重力、惯性和液体晃动的心智模拟。机器人想复制这条路径，就必须先在某个统一的世界模型里做推理，而不是在关节层面做模仿。
2.3 人类路线的致命前提：拥有一套共享的物理世界模型
这里就到了"人类学习路线"对物理AI最有价值、也最容易被忽略的一点：人类所有的跨本体迁移，都发生在同一个已经内化成熟的物理世界模型之上。你不需要重新理解重力，不需要重新理解碰撞，不需要重新理解"推一个轻箱子比推一个重箱子省力"这个直觉。
机器人目前恰恰缺这块。绝大多数策略学到的都是输入图像到动作输出的直接映射，中间没有显式的物理世界模型。换个机械臂之后，图像变了，动力学也变了，但策略并不知道这些变化对应什么物理后果。它会沿用旧本体的"肌肉记忆"去控制新本体，结果就是我在开头描述的那种诡异的关节姿态。
所以，人类路线的启示不是"看视频就能学会"，而是先用海量物理交互建立世界模型，再让跨本体变成在这个模型上的参数快速重标定。这条路在学术上说得通，工程上还差得非常远。
3. 现在流行的三条跨本体技术路线，我挨个踩了一遍
近一年来，跨本体零样本部署主要有三条技术路线，每一条我都亲手试过，这里把实测感受和原理复盘写出来。
3.1 统一动作接口层：把关节坐标换成末端速度再迁移
这条路线是最早被采用的，思路很直接：既然不同本体的关节数、关节构型不一样，那把动作输出统一到任务空间不就行了？策略不再输出"每个关节的角度",而是输出"末端执行器在x、y、z方向的速度量和旋转速度量"。剩余的逆运动学交给机械臂自带的控制器去解算。
好处显而易见：六轴臂和七轴臂都能用同一套策略输出，末端速度命令不依赖具体关节数。但我在实测中发现两个坑。
第一个坑是奇异性。任务空间的同一个末端期望速度，在不同机械臂上的关节解算结果差异巨大。有些机械臂在某个位姿下会进入奇异构型，关节需要给出极大的角速度来实现一个很小的末端速度。策略本身并不知道这件事，它只看到"末端没动"，于是在下一个时间步继续增大输出请求，最终把关节逼到限位甚至触发急停。
第二个坑是动力学差异。末端速度增量看起来是"统一单位"，但不同机械臂实现同样的末端速度时，关节力矩、加速度能力和响应带宽完全不同。一台高惯量的小臂按照低惯量大臂的习惯去规划轨迹，就会出现抖振和过冲。统一动作空间解决了"几何表示"问题，解决不了"物理能力"问题。
3.2 基础策略加提示词：冻结预训练模型，只换本体描述
第二条路线是跟着大模型风潮起来的，代表方向包括OpenVLA、Octo这类VLA策略。它们的共同做法是：用大量跨本体数据训练一个基础策略，输入是图像加语言指令，输出是动作序列。训练时每个本体都有一个"本体描述"或embedding，推理时给新本体也构造一个描述，期望策略能靠语义泛化来完成跨本体。
这个想法很优雅，但我实测下来的结论是：它能泛化任务理解，不能泛化物理控制。比如我用一个在Franka、UR5e和仿真Fetch臂上训练过的VLA模型，让它用另一台没见过的机械臂去"把红色方块推到目标点"。策略确实能识别红色方块在哪里，也确实理解"推"这个动作的语义，但它输出的动作序列一落到新本体的执行层面，就开始出现速度过冲、接近物体时减速不足、夹爪开关时机错误等等问题。
而且还有一个更隐蔽的问题：当你要求模型给一个完全没见过的本体生成embedding时，它本质上是在"猜"这个本体的运动学特征。猜对了，任务能完成一部分；猜错，就是系统性偏移。有些框架会让用户在部署前微调输出层，哪怕只需要几十条数据，这也已经不是零样本了，而是零样本理解加几百条数据的物理适应。
3.3 语义蒸馏路线：先翻译成语言，再翻译回动作
第三条路线是我个人觉得最有潜力的，也是测试结果最出乎意料的——语义蒸馏。大致流程是：先在一个成熟本体或仿真器上训练一个表现很好的"教师策略"，然后把它的轨迹数据翻译成自然语言或符号化的中间表示，再用这些中间表示去训练新本体上的"学生策略"。
举个例子，教师策略在仿真器里学会了开关抽屉，它的一条轨迹可以被翻译成："机械臂移动到抽屉把手上方约5厘米处，夹爪张开，向前推进直到接触把手，闭合夹爪，均匀向身体侧施加12牛拉力，持续3秒。"这个描述里不包含任何特定关节角度，只包含语义级别的动作基元。
学生策略在新本体上接收到这段描述后，需要用自己的逆运动学和控制器把语义重新实例化。好处是，只要新本体的结构跟语义描述兼容——比如也有一只手、也能移动末端——它确实有一定概率把任务做出来。我在一台小型桌面臂上试过，开抽屉的成功率虽然只有四成，但动作轨迹是合理的，没有出现关节乱拧。坏处也很明显：语义中间表示丢掉了大量高频运动细节，比如手指揉搓、掌心微调、力度渐变这些精细操作。凡是需要亚厘米级精度的任务，语义蒸馏基本都会失败。
我把三条路线的差异整理成一张表，方便直观比较：
| 路线 | 核心思路 | 对新本体的要求 | 实测稳定性 | 主要风险 |
|---|---|---|---|---|
| 统一动作接口 | 输出末端速度/增量，规避关节差异 | 运动学结构大致类似 | 中等，易受动力学差异影响 | 奇异位形、力矩极限、带宽不足 |
| 基础策略加提示词 | 靠语义泛化理解任务，输出仍映射到动作 | 结构可任意，但物理参数需近似 | 任务理解强，物理执行弱 | 本体embedding靠猜，控制精度不足 |
| 语义蒸馏 | 将轨迹翻译成语义中间表示再重建 | 结构必须支持语义描述的动作基元 | 动作合理，精细操作差 | 丢失细节，亚厘米级任务失败率高 |
4. 现实边界的骨架：为什么零样本在物理世界大概率失效
聊完了路线，我再来认真拆一拆边界。很多人把跨本体失败归结于"策略不够聪明"，但我的观察是，更多时候是三个硬约束在起作用。
4.1 观测差一点，策略就废一片
第一个硬约束是观测空间的错配。机器人策略的输入通常是相机图像，而不同本体上相机的安装位置、视场角、分辨率、白平衡、畸变系数全都不一样。一个在Franka第一人称相机数据上训练的策略，第一次看到UR5e的第三人称固定视角，它的输入分布已经完全变了。即使图像语义上能看到同样的物体，策略内部的特征提取器也会被视角差异强烈干扰。
这一点跟大语言模型处理文字有着本质区别。文字的token是离散的、稳定的，换个字体不影响语义。但相机图像的像素空间高度绑定了具体的传感器和内参外参。一些VLA模型因为用了大规模预训练，对视角变化有一定鲁棒性，但这种鲁棒性远远不够支撑"零样本"级别的部署——尤其是操作环境本身还伴随光照变化和遮挡的时候。
4.2 动力学差异会直接击穿策略的置信区间
第二个硬约束是动力学差异。策略在旧本体上学习到的不仅是一串动作，而是在那台机械臂的动态特性下形成的轨迹规划习惯——什么时候提前减速、加多大力矩、怎么抑制末端抖动，这些都被隐式编码在策略里。
换一个本体后，连杆质量、关节摩擦、执行器带宽、减速比，每一项都变了。最典型的情况是：旧本体的关节响应快，策略习惯在接近目标物时不减速太多；新本体关节响应慢，同样的策略输出导致末端到达目标物时速度仍然很高，直接把物体撞飞。这不是策略"不懂动力学"，而是策略学习的动力学假设在新本体上不成立。
我也试过在训练时加入参数随机化来增强鲁棒性——就像Sim2Real里的domain randomization那样，随机化机械臂的质量、摩擦、负载。这确实能提高跨本体成功率，但代价是策略在任何一个特定本体上都做不精细，变成一个"粗糙但安全"的模式。
4.3 零样本安全验证是个无解问题
第三个硬约束最容易被技术圈忽视：安全问题。大模型写错一段代码，最坏情况是编译失败，删掉重来；一个零样本部署的机器人策略做错一个动作，代价可能是夹爪撞坏、精密传感器破碎，甚至伤到旁边的人。
零样本部署意味着没有离线验证，没有系统辨识，没有故障注入测试。你甚至不知道策略在什么时候对自己的动作没有把握，因为神经网络的置信度输出并不可靠——我见过策略对某个动作给出0.95的高置信度，但实际动作已经完全偏离任务目标。这种情况在电脑上是bug，在物理世界里就是事故。
因此在真正的工业级部署中，零样本这种模式短期内很难被严肃对待。可以接受的是零样本理解、小样本适应，但绝不应该接受零样本直接进入高速、大力矩、人机共融的物理环境。
4.4 Sim2Real当年走过的路，跨本体大概率要再走一遍
最后提醒一句：跨本体迁移身上有强烈的Sim2Real既视感。很多年前大家也幻想过仿真训练的机器人策略可以直接部署到真机上，结果碰了一鼻子灰。后来行业靠domain randomization、system identification、online adaptation、meta-learning这些方法一步步把Sim2Real的差距缩小。
跨本体迁移的本质其实是一样的，只是这次"域差距"不是来自仿真和真机，而是来自不同硬件平台之间的运动学、动力学和观测差异。如果现在不把那些变量系统地纳入训练过程——比如在训练时随机化本体的运动学参数、动力学参数、相机外参——那么你必然会把Sim2Real早期踩过的坑再完完整整踩一遍。
5. 如果一定要做跨本体迁移，我建议你抓住这三件能落地的事
写了这么多边界和失败，并不代表这个方向不值得做。恰恰相反，我认为跨本体是物理AI走向通用性的必经之路，只是实现路径需要设计得更务实。如果你正在做这件事，我建议把精力优先投入这三块。
5.1 数据格式和标定协议的"迁移友好化"
这是成本最低、收益最直接的优化。很多团队采集演示数据时，习惯把关节角度、原始图像、时间戳一股脑存成自定义格式，换一个本体立刻无法复用。更合理的做法是：在数据采集层面就抽象出统一的接口——动作存末端增量或任务空间意图，观测存对齐到基座坐标系下的RGBD图像，同时记录相机内参外参和本体类型标签。
这样定义之后，每一份数据天然带上"可迁移"的属性。将来无论跨本体评估用哪种策略，都有一个干净的数据基础，而不是每次迁移实验都回到原始数据重新清洗。我们内部现在把所有采集任务都跑在这套协议上，后续做任何算法对比的时间成本至少降了一半。
5.2 离线可回放的迁移评估协议
第二个建议是建立一套离线评估协议。不要一上来就让策略真机运行，那是拿设备赌运气。先把新本体的URDF模型加载进仿真环境，让策略在仿真里跑一遍轨迹，重点看：末端轨迹跟任务要求的重合度、关节速度是否频繁到达极限、有没有碰撞报警。仿真通过之后，再用慢速、限力矩的模式在真机上验证。
同时建议统计三组硬指标：跨本体成功率、碰撞/越界次数、策略置信度与实际执行表现之间的相关系数。这三组指标能让你快速判断一个跨本体方案到底是真泛化，还是被偶然任务样本撑起来的运气。
5.3 零样本安全兜底不能省
如果非要在真实场景里做跨本体零样本，安全设计无论如何都要前置。物理层面，限制最大速度和最大力矩，把策略输出经过低通滤波后再下发；软件层面，设置一个动作合理性检测器，当策略输出的关节位置变化率超过预设阈值时自动降级为停止；场景层面，尽量缩小操作范围，保持在有人监督的模式下运行。
我在实践里的一条铁律是：任何零样本部署实验，第一次运行速度必须低于正常操作速度的30%，哪怕这个减速会让策略失败，它的失败也会更安全、更容易分析。
5.4 别死磕真零样本，把在线适应的速度压到分钟级更现实
最后一个建议是调整目标。真正意义上的跨本体零样本部署，在物理世界里可能不是一个值得追求的KPI。相比之下，把跨本体的在线适应时间压缩到分钟级，才是工程上更能落地的目标。
具体做法是：策略加载时启动一个轻量的系统辨识过程，用几十秒的试探动作估计新本体的动力学参数，然后在底层控制器层面做补偿，而不是在策略网络内部做更新。这样可以保住策略的语义理解能力，同时解决物理不适配的问题。我测试过几条路线，这种"零样本策略加载加分钟级运动学适配"的组合方式，是当前性价比最高的跨本体部署路径。
写到这里，回头看开头那个撞歪传感器的实验，我反而觉得那是这个领域需要的清醒剂。不同本体之间的迁移从来不应该是"把策略文件拷贝过去就跑"这么简单，它需要你在数据协议、评估体系、安全兜底和底层适配上都做足够扎实的准备。我个人在实际操作中的体会是：把"零样本"这个执念放下，认真解决"迁移时间"和"迁移安全性"，反而能更快逼近真正的通用物理智能。如果你也在做类似的方向，欢迎把你踩到的边界告诉我，我特别好奇跨本体失败案例里那些被论文隐藏的细节。
