最近在复现 Reward AI 这条“人类演示路线”的时候，我最大的感触是：它没有去堆更炫的模型，而是把“人怎么教机器人”这件事从头捋了一遍。项目代号 OM-1，起点是一对形态上更像人手、但骨架上刻意做成通用接口的 Omnibody Hand，终点却是能直接迁移到不同机器人本体上的策略。这个过程既不神秘，也没有太多玄学，核心就是一条链路——人类演示数据进，奖励模型出，再用这个奖励信号去训练策略，最后靠统一的状态表示把策略搬到其他“身体”上。这篇文章就把我在这条链路上的实操记录、踩坑和思考完整写出来，适合正在做具身智能、模仿学习或者奖励建模的团队参考。
1. 为什么“人演示”会成为奖励函数的新燃料
1.1 Reward AI 到底在解决什么问题
强化学习最大的痛点从来不是算法不够多，而是奖励函数写不对。过去我们习惯手工设计稀疏奖励或者形状奖励，比如“距离目标近了给 +0.1”“碰到物体扣 0.5”，这种规则在仿真里勉强能跑，但一进真实世界就露馅：真实操作里一个拧瓶盖的动作，很难用“接近”“旋转”“下压”这种手工规则准确描述，而且写规则本身就是一份巨大的体力活，还容易把学习算法引向投机取巧的捷径。
Reward AI 的思路是让奖励函数从数据里长出来，而不是从规则里写出来。它依赖人类演示，通过逆强化学习或者偏好建模，把人类的操作轨迹转换成一种可学习的奖励信号。这样做的直接收益是：奖励不再是工程师拍脑袋定义的目标函数，而是人对“什么是好操作”的隐性判断的数字化表达。项目里这个奖励模型被训练好后，会输出连续的打分，告诉策略每个状态下动作究竟好不好，替代传统稀疏奖励的位置，让策略优化过程变的平滑许多。
值得一提的是，这条路线的名字里带了 AI，但它的核心不是某个单一模型，而是一整套数据流水线加训练框架。OM-1 在实现上可以分成三个相对独立的模块：人类演示采集端、奖励模型训练端、策略迁移端。三个模块各干各的活，又通过接口耦合在一起。我实际做下来，这种解耦设计的好处是大规模并行和替换组件都很方便，比如后面我换了更强的奖励模型，策略端完全不用改。
1.2 人类演示路线的核心逻辑
把人类演示变成奖励信号，本质上是在做一个假设：人类操作者在演示的时候，心里有一个潜在的偏好排序——他并不是每一次都选最优动作，但演示数据的分布整体上偏向更好的动作。换句话说，演示数据里藏着人对“好”的模糊判断，而奖励模型的工作就是把这种模糊判断量化为一个可导的函数。
实际操作中有两条主流分支。一条是逆强化学习，思路是反推一个奖励函数，使得专家策略在给定奖励下是最优的。这个方向理论优美，但计算开销普遍较大，而且对环境动态模型有依赖。另一条是偏好建模，比如直接让人类对两段轨迹做对比，然后训练一个奖励预测器。OM-1 的工程实现更偏向后者的轻量化变体：它同时利用完整演示轨迹和局部片段，通过对比损失来训练奖励模型。这样做的好处是数据不需要精确到每个状态都有绝对标签，只要成对比较就能产生学习信号，大幅降低了标注成本。
我自己的理解是，这条路线其实在“模仿学习”和“强化学习”之间搭了一座桥。纯行为克隆把演示当作答案直接复制，上限受限于数据覆盖度；纯强化学习又需要精确的奖励函数。Reward AI 相当于吸收了前者的“人类知识”，再通过后者的“探索优化”来突破数据覆盖，组合起来就是 1+1>2 的效果。
1.3 这条路线的适用边界
并不是所有任务都适合走人类演示路线。我踩过不少坑，总结下来适合的情况大概是这三类：第一类是任务目标很难用规则量化，比如“动作要看起来自然”“抓取时姿态要协调”；第二类是真实环境交互成本高，比如用真机反复试验容易磨损设备，演示反而更安全；第三类是任务具备一定的通用性，值得为它训练一个奖励模型，而不是一次性用完就扔。
相反，如果任务本身有明确的度量指标，比如“达到指定坐标”“速度误差小于阈值”，真没必要绕一圈去学奖励函数，手工奖励更稳定可靠。另外，人类演示的质量方差如果特别大，比如操作者水平参差不齐，奖励模型很容易学到噪声里。这个我在后面“常见问题”部分会详细展开。
2. 从 Omnibody Hand 出发：数据是第一个拦路虎
2.1 Omnibody Hand 是什么，为什么选它当起点
Omnibody Hand 在这个项目里承担的角色有点特殊：它既是数据采集的工具，也是第一个策略落地的本体。从名字看，Omnibody 强调的是“全形态适配”。它和普通灵巧手最大的区别在于，所有关节的驱动方式和传感器布局都被设计成可以整体移植到不同机器人手臂末端，甚至可以在不同品牌的机械臂之间互换。也就是说，你今天在 A 机械臂上采的数据，明天换到 B 机械臂上依然能对得上运动学接口。
为什么选它当起点？因为做奖励模型训练最怕数据“长相不一致”。如果每一次采集用的手部结构都不一样，关节角度、末端力觉、触觉分布的维度都对不上，那训练出来的奖励模型就很难泛化。Omnibody Hand 通过统一的关节命名和标准化的数据协议，确保所有演示数据在进模型前已经处于同一坐标系和同一语义空间。这一步是后面跨机器人体策略能成立的前提条件，数据没对齐，后面全白搭。
我在实际部署的时候，还发现它在硬件层有一个很实用的设计：每个手指的关节角度分辨率足够高，而且带温度补偿的力传感器。灵敏的力觉对奖励模型特别重要，因为很多精细任务比如拧螺丝、捏鸡蛋，人类演示的“好”往往体现在微小的力度控制上，单靠位置轨迹根本看不出来。可以说，Omnibody Hand 选得好，等于数据集刚起步就赢了一半。
2.2 演示数据采集：设备、环境、动作映射的实操方案
数据采集听起来简单，就是让人抓着或远程操控设备做动作，但真正做起来，细节非常多。OM-1 的演示采集端我采用了一套“视觉+动捕+遥操作”的组合方案。
- 视觉通道：用 4 个不同角度的 RGB 相机记录操作过程，分辨率 1080P，帧率 30FPS。这路数据的作用是给奖励模型提供场景语义，让模型知道当前物体是什么、处于什么状态。
- 动捕通道：在操作者手腕和手指上佩戴惯性动捕节点，记录人类手部的粗粒度位姿和运动轨迹，采样频率 100Hz。
- 遥操作通道：通过主手装置实时将人类动作映射到 Omnibody Hand 上，记录每个关节的角度、力矩和触觉反馈，采样频率 500Hz。
三路数据最后通过统一的时间戳同步模块对齐。我试过直接用网络时间戳，结果发现相机和传感器的时钟漂移严重，后来改用硬件触发同步，也就是每次采集开始前发一个同步脉冲，误差从几十毫秒降到 1 毫秒以内。这个细节听起来不大，但对后续奖励模型的训练影响非常显著，尤其是做轨迹对比时，哪怕错一帧，都会让模型误以为动作产生了奇怪的急停。
动作映射也很有讲究。人类手的运动学和机器人手不可能完全一致，所以不能简单照搬角度。我们采用的是“任务空间映射”：优先保证指尖位置和力的方向一致，不强制关节角度一致。效果上，操作者适应起来很快，采集的自然度明显提升。这个映射关系在跨本体迁移时也被复用，相当于给每个机器人本体预留了一个统一的动作接口。
2.3 数据清洗与质量评估
演示数据不是采完就能直接进模型的，质量评估这一关必须严格。我总结了一个三级筛选流程：第一级是“完整性检查”，先把轨迹中断、传感器丢包、时间戳错位的样本直接删除；第二级是“任务成功性判断”，由操作者自己给每段演示打标签，确认这段操作是否成功完成了目标；第三级是“一致性检查”，通过计算同一任务下轨迹的平均动态时间规整距离，把偏离总体模式太远的异常轨迹挑出来，再人工复核。
这里有一个容易被忽视的点：不要只看轨迹相似度，一定要结合任务语义来判断。比如“把杯子放到桌面”这个任务，如果操作者这次是正着放，下次是斜着放，轨迹距离可能很大，但任务都成功了，都值得保留。反过来，如果两次轨迹长得一模一样，但一次杯子倒了，一次没倒，那这段轨迹就必须剔除。数据清洗最忌讳只看表面，一定要理解任务本身。
另外，我在实践里还会对清洗后的数据做一次“奖励模型预检”：用一小部分数据快速训练一个临时奖励模型，再看它在验证集上的排序准确性。如果排序准确性低于 70%，说明数据质量或者标注一致性出了问题，这时候回到原始数据排查，而不要急着调奖励模型的参数。这个习惯帮我省了很多无用功。
3. 奖励模型的构建与策略训练：关键环节拆解
3.1 从人类演示到奖励模型：逆强化学习与偏好建模
奖励模型的核心是把“好/坏”的判断变成一个可微分的打分函数。OM-1 里我用的方案是“对比学习 + 轨迹片段采样”的组合。具体来说，奖励模型是一个多层感知机，输入是状态和动作的特征拼接，输出是一个标量奖励值。训练数据由若干对轨迹片段组成，每对里有一段来自人类成功演示，一段来自失败演示或者随机策略生成，模型的训练目标就是给前者的总分打得比后者高。
这里有个关键技巧——轨迹片段不能整个拿来对比。整个轨迹太长，奖励模型容易只学到开头和结尾的信息，中间过程变成黑箱。我会把轨迹切成 1.5 秒左右的片段，并且采样时保证覆盖任务的各个阶段。比如“插拔连接器”这个任务，第一秒是接近阶段，中间是插接阶段，最后是确认卡紧阶段。如果片段采样只集中在插接瞬间，模型就会忽略接近阶段的流畅度，导致后面策略训练时机械臂接近动作非常生硬。
奖励模型的结构其实不用太复杂。我试过用 Transformer 和普通 MLP 对比，在同样的数据量下，MLP 没有明显劣势，反而更稳定，收敛更快。毕竟我们输入的特征维度不高，就是关节角度、关节力矩、末端位姿、触觉向量，再加上一个物体状态的向量，总共有几十维，Transformer 的优势发挥不出来。只有在处理视觉特征作为输入时，才值得引入预训练的图像编码器。
3.2 奖励模型与强化学习策略的耦合
奖励模型训练好以后，怎么和策略训练接上，是整个流程里最容易出问题的地方。最常见的一种做法是把奖励模型的输出当作强化学习环境的即时奖励，每步都给策略打一个分。这个方案实现简单，但有一个很大的隐患：奖励模型是在离线数据上训练的，它总会遇到分布外的状态，然后给出一些意料之外的高分或低分，策略就会顺着这些错误信号钻空子。
我在 OM-1 的实验里尝试了一种更稳的耦合方式：奖励模型输出不直接作为即时奖励，而是作为“轨迹级稀疏奖励”的补充。具体来说，强化学习环境仍然保留任务成败的稀疏信号，比如插入到位给 +1，掉落给 -1；奖励模型只负责给中间过程提供一个连续性引导，而且它的权重会随着训练进程衰减。前中期靠奖励模型引导探索方向，后期回归到稀疏信号做精细修正。这个设计让我训练出的策略既没有出现奖励模型被钻空子的情况，也没有出现探索初期完全迷茫的问题。
耦合时的另一个细节是奖励尺度匹配。奖励模型输出的分数可能是 0 到 1 之间的小数，而稀疏信号是 ±1，两者直接相加可能导致量级失衡。我会把奖励模型的输出做一次标准化，让它在一个 batch 的统计数据里均值为 0、方差为 1，再乘一个衰减系数。这样梯度量级就比较稳定，超参数也不需要频繁调整。
3.3 训练参数与稳定性的几个细节
我整理了 OM-1 中奖励模型和策略训练时比较关键的一组参数，这些不是官方超参数，而是我自己多次实验后相对稳定的取值，供参考：
| 模块 | 关键参数 | 参考取值 | 说明 |
|---|---|---|---|
| 数据预处理 | 轨迹片段长度 | 1.5 秒 | 采样间隔 10Hz，约 15 个状态-动作对 |
| 数据预处理 | 同步容差 | 5ms | 超过即剔除该样本 |
| 奖励模型 | 隐藏层 | [128, 64] | 两层 MLP，ReLU 激活 |
| 奖励模型 | 对比损失 margin | 1.0 | 前后分数差小于 margin 视为相等 |
| 策略模型 | 网络结构 | [256, 256, 128] | Actor 和 Critic 分离 |
| 强化学习 | 奖励模型权重 | 0.3，线性衰减到 0.05 | 300k 步衰减完 |
| 强化学习 | replay buffer 大小 | 500k | 每次采样 batch 256 |
稳定性方面，我最想提醒的是奖励模型的梯度更新不能太频繁。如果你把策略和奖励模型放在同一个循环里同步更新，很容易出现“reward hacking”和模型震荡同时爆发的情况。我的做法是奖励模型先固定训练 3000 步，然后在策略更新期间每 500 步再做一次小规模微调，并且微调用很小的学习率。此外，每次策略更新后要抽一批固定评估轨迹，用奖励模型重新打分，观察分数是否有异常提升或下降。如果发现策略分数暴涨，通常说明策略找到了奖励模型的漏洞，要立刻回滚策略参数。
4. 跨机器人体策略迁移：从一只手到一群机器人
4.1 什么是“体”策略，迁移的核心难点
标题里的“跨机器人体策略”其实说的是“跨机器人本体策略”，也就是把一个在 Omnibody Hand 或者某一台机械臂上训练好的策略，直接用在另一个结构不同的机器人上。为什么这件事难？因为不同本体在关节数量、自由度、连杆长度、质量分布、传感器布置上都不一样，策略输入的特征空间和输出的动作空间都没法直接对应。你在这边学到的“手指弯曲一定角度”换个本体就可能变成完全不同的力矩响应。
这个问题的本质是“表征对齐”。一个能跨本体的策略，不能只记住某个本体的特定关节角度序列，而要理解更抽象的操作意图，比如“用指尖施加 3N 的力向左推”。这种抽象理解需要状态表示层具备足够的泛化性。OM-1 在解决这个问题时，没有选择去训练一个超大模型硬扛所有本体，而是通过一套统一的状态和动作编码，把不同本体映射到一个共享的“执行语义空间”里。
4.2 状态空间对齐与统一动作表示
我在做迁移时的第一步是给所有涉及的机器人本体建立统一的状态表示。状态向量分成三块：本体状态、末端状态、任务状态。本体状态包括关节角度、关节速度、关节力矩，但要做归一化——每个本体必须按照各自的关节极限归一化到 [-1,1]，否则不同臂长的机器人同一种角度对应的空间位置完全不一样。末端状态包括末端位置、姿态、线速度、角速度，以及触觉阵列的均值与方差。任务状态则是对目标物体的位姿、类别和关键点描述。
这个统一表示建好以后，还有一个很关键的步骤是动作空间归一化。常见的机械臂动作维度不一致，有的 6 轴有的 7 轴，有的灵巧手有 12 个关节，有的有 20 个。我采用的方案是“任务相关维度 + 冗余维度补零”：先把所有本体映射到一个虚拟的 6 维末端动作空间（位置 3 维 + 姿态 3 维），再把灵巧手的关节动作按照手指分组平均成 5 指特征，不足的维度补零。这样虽然损失了一些精细控制能力，但换来了极好的迁移一致性。
迁移实验里有一个结果让我印象很深：在源本体 Omnibody Hand 上训练的策略，零样本迁移到另一台平行夹爪的机械臂上，任务成功率从原来的 90% 掉到了 35%。但加上了统一的动作空间和状态归一化之后，成功率回升到了 62%。这说明即使粗暴降维，只要表征对齐做得好，策略里学到的高层意图依然能保住大半。剩下的差距，就靠目标本体上的一小簇真实数据进行微调。
4.3 迁移后的微调与评估
跨本体迁移不是一次搞定的，微调策略很有讲究。我习惯分三步走：第一步，用少量目标本体的演示数据（大约 100 条成功轨迹）先做一轮行为克隆预热，让策略快速适应新本体的动力学。第二步，冻结底层状态编码器，只微调策略网络的高层，用奖励模型继续给目标本体的新数据打分，进行强化学习微调。第三步，等任务成功率稳定后，再把所有层解冻，用稀疏信号做最后精修。
评估方面不要只看任务成功率，一定要同时看“操作平滑度”和“力控稳定性”。我遇到过这样的情况：迁移后的策略任务成功率很高，但操作过程里手指会明显颤抖，力度忽大忽小。这种问题在真实部署时非常致命，容易损坏工件。所以我的评估指标除了成功率，还会计算相邻动作的加速度突变次数、末端力的功谱密度等，一旦这些指标异常，就说明状态归一化或者奖励模型的细节还没对齐。
5. 实际落地中的常见问题与排查技巧
5.1 数据不足时的表现与处理
奖励模型和策略模型都非常吃数据，但现实往往是凑不齐足够规模的演示。数据不足时最典型的特征是奖励模型在训练集上和验证集上的排序准确率差距特别大，一般超过 15 个点就要警惕过拟合。我有一次只拿到 500 条演示，奖励模型在训练集上准确率 95%，验证集只有 72%，完全没法用。
遇到这种情况，我建议先做数据增强，而不是直接换更大的模型。关节角度上可以做小的噪声扰动，轨迹上可以做时间轴的轻微缩放和裁剪，视觉上可以随机调整亮度对比度和平移。这些增强都会让奖励模型更关注“操作意图”而不是“精确数值”。另外，把完整轨迹切成多个片段去构造更多的对比对，是成本最低且效果最明显的扩充方式。500 条完整轨迹切成 1.5 秒片段后，我轻松得到了 8000 多个片段对，足够训练一个能用的奖励模型。
5.2 奖励模型过拟合的典型迹象
除了排序准确率差距大，奖励模型过拟合还有一个很容易被忽视的迹象：它对某几条训练轨迹的分数异常高，而对验证轨迹的分数分布非常平缓。这说明模型根本是在做“背诵”而不是“理解”。我在早期版本里就出现过这种情况，最后排查发现是采样片段重叠太多，导致训练和验证本质上高度重复。
解决办法是保证训练和验证数据来自不同的完整演示，而不是把同一段轨迹既切成训练片段又切成验证片段。这个教训让我养成了一个工作习惯：在数据预处理阶段就把完整轨迹按任务分成训练集、验证集、测试集，之后再切片段，绝对不混。另外，如果奖励模型输出分数的标准差在验证集上小于训练集的十分之一，基本可以判定模型陷入了某种捷径，需要检查特征输入里是不是有类似“任务成功标志”这类泄露信息。
5.3 跨本体迁移失败的几个常见原因
跨本体迁移失败往往不是单一原因，但在我调研和实操中最常见的无非三种。第一种是状态表示不一致，比如源本体用的末端位置是相对于肩部的坐标，目标本体却用了相对于基座的坐标，导致策略看到的“语义”完全不同。这种问题通常在迁移后的成功率上表现为“从第一帧就开始歪”。排查方法也很简单：把两条相同任务下的轨迹先做归一化和对齐，再画出来看状态分布是否重叠。
第二种是动作空间不匹配导致的执行力下降，特别是目标本体关节响应慢且力度小。策略在源本体上可以大胆发力，到目标本体上却使出吃奶的劲也推不动，这时候奖励模型依然会给出低分，策略就会越来越激进，最后导致动作抖动甚至损坏设备。我的解决办法是在目标本体上重新计算动作的最大允许幅度，并在迁移初期把动作网络的输出乘以一个 0.7 的收缩系数，等策略稳定后再放开。
第三种是任务语义漂移。同一个任务在不同本体上的关键阶段不一样，比如灵巧手拧瓶盖需要先抓稳再转动，而平行夹爪更需要先对准再夹持。如果奖励模型对这种阶段差异不敏感，迁移后策略就会做出看似正确但实际无效的操作。这种问题需要人工介入，把任务阶段标签加入状态向量，让策略知道当前处于哪个阶段，这样才能在迁移时保持正确的行为优先级。
6. 一点个人的经验总结
走到这里，OM-1 这条路线在我心里的画像已经非常清晰了。它不是一个只能在仿真里炫技的方案，而是一套从数据采集到奖励学习再到跨本体迁移的完整工程闭环。我个人在实际操作中最大的体会是：人类演示路线最大的价值不是替代强化学习，而是改变强化学习里最“手工”的部分——奖励设计。Reward AI 把奖励函数从“工程师写规则”变成“模型学偏好”，这个转变会极大释放策略模型的潜力。
最后再分享一个小技巧：如果你也准备复现这套路线，强烈建议从 Omnibody Hand 这种统一结构的手开始，不要一上来就在各种异构机器人上做迁移。统一结构意味着数据协议和接口标准都是齐的，这会节省你至少 50% 的预处理时间。先把单个本体的奖励模型和策略调到能稳定完成任务，再逐步引入第二个、第三个本体，每一步都关注状态对齐的质量。跨本体迁移从来不是模型一换就万事大吉，它需要你对每一台机器人的“身体”细节都足够敏感。希望你少踩一些我踩过的坑。
