如果让我用一个词概括近几年机器人操作领域最明显的变化，我会选“从仿真玩具走向真机部署”。而在这波浪潮里，模仿学习是被讨论得最多、也被误解得最深的一条技术路线。它不依赖精心设计的奖励函数，不需要让机器人在环境里瞎试几百万步，而是让机器人直接“看着示范学”。听上去很朴素，但围绕它的分类、演化、基准测试与挑战，已经形成了一个庞大且碎片化的话题池。很多人从一篇论文或一个演示视频进入这个领域，结果发现同一个“模仿学习”术语下，有人在做行为克隆，有人在做逆强化学习，有人在用扩散模型建模动作分布，还有人干脆只做视频到动作的映射。
我写这篇文章的动机很简单：把这些碎片拼成一张地图。地图的经线是分类，纬线是演化，测量工具是基准测试，而尚未被征服的区域就是挑战。无论你是刚接触机器人操作的初学者，还是准备在仿真平台里复现对比实验的研究者，或者已经在真机上折腾过一段时间、被泛化问题折磨过的工程师，这篇文章都能给你一个相对完整的坐标系。
1. 模仿学习在机器人操作中的坐标：它解决了什么，又留下什么问题
1.1 一个让新手最困惑的问题：为什么不用强化学习？
很长一段时间里，机器人操作社区的默认答案都是强化学习。强化学习确实优雅：定义状态、动作、奖励，然后让策略在与环境交互中最大化累积回报。但要把它用在真实的机械臂上，会遇到三座大山。
第一是奖励设计。让机械臂把积木推到指定位置，奖励函数可以写成距离的负值；让机械臂倒水、叠衣服、插线缆，奖励函数怎么定义？每一项都要手工设计，而且稀疏奖励下训练几乎无法收敛。第二是采样成本。一个强化学习策略从随机初始化到能完成简单任务，往往需要数百万次交互。仿真里可以并行跑，但迁移到真机时存在Sim2Real gap；直接在真机上交互，机械臂磨损、安全风险、时间成本都是现实问题。第三是安全。强化学早期策略完全随机，机械臂可能以极快速度撞向桌面或夹住障碍物。
模仿学习的核心价值就在于此：用专家演示替代奖励工程和大量交互。它把“什么样的行为是好的”这个问题，编码在演示数据里。这听起来像是降维打击式地绕过了强化学习的难点，但同时又扯出一根新的线头——我们怎么保证策略能泛化到没见过的场景？这就是后面要详细展开的核心矛盾。
1.2 问题表述：从专家演示到策略函数
从形式化角度看，模仿学习的问题定义并不复杂。给定一组专家演示轨迹，每条轨迹由状态-动作对组成：
D = {(s_0, a_0, s_1, a_1, ..., s_T, a_T)}
目标是学到一个策略 π(a|s)，让它在测试环境下也能像专家一样完成任务。这里的“状态”可以是关节角度和末端位姿，也可以是 RGB 图像；“动作”可以是关节速度、末端速度，也可以是一整段动作序列。
一个经常被忽略的点是：模仿学习本质上是在做“分布匹配”。我们希望策略生成的轨迹分布 P_π 尽可能接近专家演示分布 P_E。如果从这个角度理解，就能自然地解释一系列现象：为什么行为克隆会累积误差，为什么逆强化学习在某些场景更鲁棒，为什么扩散策略这种生成式建模方式一入场就迅速成为主流。它不是操作层面的小改动，而是对问题本质的不同理解。
1.3 为什么同一个术语下藏着完全不同的任务
我刚接触这个领域时最头疼的就是：论文里都说“使用模仿学习”，但实验设置完全不同。有人用低维状态输入，有人用高维图像；有人收集了 1000 条演示，有人只有 20 条；有人做单步决策，有人做长达几十秒的多步操作；有人用的是单一任务，有人要求零样本泛化到新物体。
这不是文献综述里的陈词滥调，而是实践中的真实障碍。你在一篇论文里看到“行为克隆在某任务上达到 80% 成功率”，很兴奋地拿自己的机械臂复现，结果发现它的设置是状态输入、100 条干净演示、同一物体同一位置；而你的场景是图像输入、30 条演示、物体位置随机摆放。两者难度不在一个量级。所以，理解模仿学习的分类，不是梳理学问，而是避免被“同一术语”骗了。
2. 一张分类地图：四种视角拆解“什么是模仿学习”
2.1 按策略表示：行为克隆、逆强化学习与隐式策略
这是最经典的分类方式，也是论文里最常见的比较维度。
行为克隆（Behavior Cloning，BC）是最朴素的一类。把它想象成一个“输入-输出”的回归任务：用当前状态预测专家动作，用监督学习的方式训练。简单、直接、易复现，是几乎所有项目的 baseline。但它的毛病也很明显：训练时看到的都是专家状态，测试时一旦偏离这个分布，就容易进入一种“一错再错”的滑坡。
逆强化学习（Inverse Reinforcement Learning，IRL）走的是另一条路：不直接学策略，而是先从专家演示中学出奖励函数 R(s, a)，再用强化学习去优化这个学到的奖励。它的思路其实是“理解专家的意图”。好处是策略训练阶段可以探索环境，泛化性和稳定性通常优于行为克隆；代价是计算成本高，需要在内循环里反复跑强化学习，调参难度指数上升。
隐式策略是近几年重新流行起来的做法。它不直接输出动作，而是学习一个能量函数或价值函数，在推理时通过优化或采样来挑选动作。这类方法在需要高精度、多峰行为（比如同一个物体可以从不同角度抓取）时有天然优势。代价是推理开销较高，部署到实时控制回路上会更麻烦。
三种方法没有绝对优劣，选型要看你手头有什么数据、推理硬件多强、是否需要实时响应。
2.2 按数据模态：状态、图像、视频三级跳
另一个容易混淆的地方是输入数据。行为克隆也好、逆强化学习也好，都可以建立在不同模态之上。
低维状态输入是最容易上手的：机械臂关节角、夹爪开合、物体位置和姿态，拼成一个向量丢进网络。优点是训练快、特征明确，适合验证算法逻辑。缺点是不通用——真实场景里很难拿到精确的物体位姿。你不可能每次都在物体上贴个标记然后精确测量。
图像输入是绝大多数真实项目的选择。把 RGB 图像（或者多视角 RGB）作为观测，网络自己做视觉特征提取。这个方向真正成熟是在深度学习普及之后，卷积神经网络省去了大量手工特征工程。此时的难点变成了：视觉域差异（光照、背景、相机位置变化）会直接导致策略失效；数据量需求也显著上升，因为视觉特征提取器和控制策略要一起学。
视频输入是当前的前沿分支：不要求提供动作标签，只收集专家操作视频，然后在视频中学习隐含的动作信息。为什么有价值？因为遥操作采集带动作标签的数据成本很高，而互联网上有大量无标签的操作视频。这类方法用“潜动作”来建模未观测到的动作，目前研究热度很高，但离真正在真机稳定部署还有一段距离。理解这条递进关系，你就知道数据采集成本是如何从“低”到“高”再到“低”的——是一个螺旋上升的过程。
2.3 按交互方式：离线、在线交互与人机协同
模仿学习还有一个容易被忽视的维度：训练时是否允许策略与环境（或人类）交互。
离线模仿学习就好比“看世界杯学踢球”：你把专家轨迹拿回来，离线训练一个策略，训练过程中不再和环境有任何交互。行为克隆就是典型的离线方法。优点是数据封闭、训练稳定；缺点是分布外状态没有任何纠错机会。
在线交互模仿学习则像“教练在旁边盯着你踢球并不断纠正”。最经典的框架是数据集聚合类方法：策略在环境中做出动作，人类或专家针对当前状态给出正确动作，把这些新数据不断加入训练集。这种方式能有效缓解分布偏移问题，但代价是人类专家需要实时介入，数据采集过程耗时费力。
人机协同介于两者之间：人类不控制每个动作，只在关键节点做纠正或示范某一段子任务。这类方法在实际工程项目里很实用，因为它尊重人类精力的现实约束。我在做长程任务时常用这种策略：前 80% 用预训练模型自动执行，等到模型置信度低的环节再由人类接管演示。这既控制成本，又增加了数据的针对性。
2.4 按动作粒度：单步、动作分块与扩散策略
最后一个维度决定策略输出的“粗细”。传统行为克隆每个时间步输出一个动作，属于单步决策。这种模式下，模型必须尽快纠正微小误差，否则误差会像滚雪球一样越滚越大。
动作分块（Action Chunking）的做法是让模型一次性预测未来 K 步的动作序列，然后执行其中一部分、再重新预测。为什么要这么做？因为分布偏移的根源之一是对微小误差的过度敏感，一次性预测一段动作，等于给策略加了一个“惯性滤波器”——它不会因为某一步的抖动就瞬间失控。很多团队在插孔、倒水这类精密任务上，靠这个改动就把成功率提高了不少。
扩散策略则是把动作生成看成一次生成过程：给定当前观测，模型不直接回归一个动作，而是学习动作分布，再从分布中采样。它继承了生成模型的优势，能够表达多模态动作（比如可以从左边绕过去，也可以从右边绕过去），对复杂操作任务特别有效。从单步回归到动作序列生成，这是我在实践中最认可的架构演进方向之一。
3. 演化时间线：从复现轨迹到学习动作分布
3.1 行为克隆时代：简单的复现，和它的潜在风险
早期模仿学习几乎就是行为克隆的代名词。当时的主流做法是把轨迹记录下来，用某种函数逼近方法建立状态到动作的映射。这个思路直白到像是录音机的操作逻辑：录下来，再播放。
问题恰恰出在“播放”上。训练时，模型见过的都是专家状态；执行时，由于控制误差、环境扰动，策略难免进入一个训练时没见过的状态。这时它给不出可靠的动作，于是更进一步偏离分布，形成恶性循环。学术上叫复合误差（compound error）。很多年前我看过一个经典实验：在简单推车任务上，行为克隆训练误差只有几个百分点，但实际 rollout 时，前期一个小偏差会在后续步骤被不断放大，最终导致任务失败。这个致命伤，催生了后面一系列方法。
3.2 学徒学习与逆强化学习：把模仿变成优化
既然直接回归动作容易累积误差，一批研究者开始在“专家到底在优化什么”上做文章。学徒学习框架把问题重新表述为：先逆推出专家的奖励函数，再基于这个奖励函数用强化学习求解最优策略。
这种方法在理论和经验上都有它的道理。奖励函数是对任务目标的全局描述，即使当前状态偏离专家分布，策略仍然可以被“动机”牵引回正确轨道。但它也有很现实的代价：逆强化学习内部嵌套强化学习，训练周期长、超参数多。我在一次项目里尝试用奖励学习方法做一个插销入孔任务，调参花的时间比训练本身还长。它并不是万能的，但对某些任务类型的价值至今没有被替代。
3.3 深度学习端到端：视觉输入的突破
深度学习的崛起，让模仿学习迎来了第一波真正的爆发。卷积网络能直接从图像中提取特征，省掉了物体检测、位姿估计、轨迹规划这些中间环节。所谓端到端，就是从感知到控制的一条通路。
这个阶段的代表性进展是：真实机械臂可以通过少量图像示范，学会抓取、推拉、堆叠等基础操作。它的核心意义在于证明了“像素到动作”的直接映射是可行的。但当时的系统还很脆弱，换一个背景、换一种光照、换一个物体颜色，成功率就断崖式下跌。很多研究组都在反复调试数据收集的细节，试图让模型在实验室里“看起来”更稳。这种脆弱性，后来被总结为视觉域差异问题，直到今天仍然是部署时首先要面对的敌人。
3.4 扩散策略与 Transformer：从回归动作到建模动作分布
最近两三年，模仿学习的中心逐渐转向动作分布建模。扩散策略用大规模生成模型的思路解决动作生成问题：把“给定观测选择动作”建模成一个去噪过程，模型反复迭代，最终从分布中采样出具体动作。这看起来只是换了个生成器，实际带来的改变是质的：它可以表达多峰动作，可以在连续空间中平滑生成动作序列，对高频抖动的抑制也比直接回归强得多。
Transformer 架构则带来另一个维度的变化：它天然适合处理序列信息。把观测历史、语言指令、动作序列统统建模成 token，一个模型可以统一处理多任务。反应到工程上，就是“一个模型控制多台机械臂”成为可能。我实际测试过，用 Transformer 做动作分块后，长程任务的成功率比用 LSTM 的做法高出一大截，尤其是在任务状态多变、需要记住最近几秒上下文的任务里。
3.5 大模型与数据规模化：新的拐点已经出现
到了这个阶段，模仿学习开始拥抱“大模型逻辑”。社区逐渐达成的共识是：与其把精力全花在精巧的算法设计上，不如先解决数据规模和数据多样性问题。通过大规模遥操作收集海量多样化轨迹，再配合视觉语言模型提供的高层语义理解，让控制策略获得一定的通用能力。这类“通用机器人策略”范式，把模仿学习从“学会一个任务”推向“学会很多任务”，甚至零样本泛化到新任务。
演化脉络走到这里，其实已经不再是单纯的算法更替，而是研究重心的大转向：从建模技巧转向数据工程。我自己做项目时也明显感受到，同样一个扩散策略算法，喂 100 条精心采集的数据和喂 1000 条杂乱但更多样的数据，最终效果往往后者更好。这个经验在工程上真的很重要，后面我会再深入展开。
4. 基准测试的度量衡：评估模仿学习策略的完整框架
4.1 模拟基准：快速迭代的基础
在真实机械臂上反复评估策略，时间和硬件损耗都很高。因此，评估基准的第一站通常是模拟环境。当前主流的模拟操作基准，基本都会覆盖一系列标准任务族：推块、抓取、堆叠、开门、插孔、倒液体等等。它们的共同特点是：任务定义清晰、状态可完整观测、初始条件可以随机化。
模拟基准最大的价值是“可复现”。同一套任务定义，不同论文之间可以横向对比。我通常在算法设计初期只跑模拟基准，把看家候选方法过一遍，筛选出有潜力的方向，再上真机精调。如果你跳过了模拟这一步直接上真机实验，调参效率会低到一个让崩溃的地步。
4.2 真实硬件评估：从台架到整机
模拟结果永远不能替代真机。评估一个模仿学习系统是否实用，最终要看它在真实机械臂上的表现。真实硬件评估通常包含三类任务：单一固定场景、带位姿随机化的场景、带新物体或新背景的泛化场景。
我在真实评估中发现几个容易被忽略的维度：第一是夹爪重复精度，机械臂本身误差会影响动作执行质量，同一个策略在不同硬件上的表现差异可能很大；第二是控制频率，策略推理耗时必须小于控制周期，否则会产生轨迹断续；第三是人为干扰，真实环境中人可能会挡住摄像头视线，或者轻微碰一下机械臂。一个成熟的项目应当把“受到扰动后能否自动恢复”纳入评估范围，而不是只在无扰动的理想条件下测试。
4.3 评估协议的核心变量：演示数、观测与统计口径
同样是“成功率 80%”，背后可能意味着完全不同的实验成本。阅读或对比基准结果时，至少要检查以下几个关键变量：
| 变量 | 常见取值 | 对结果的影响 |
|---|---|---|
| 演示数量 | 10 条 / 50 条 / 100 条 / 1000 条 | 演示数翻倍，成功率常常可以提升 10-30 个百分点 |
| 观测输入 | 关节状态 / RGB / 多视角RGB | 图像输入更难，但更贴近实际部署 |
| 动作空间 | 关节位置 / 末端速度 / 动作序列 | 动作分块通常优于单步输出 |
| 泛化条件 | 同物同位 / 随机位姿 / 新物体 | 随机位姿的难度往往是固定位姿的数倍 |
| 统计口径 | 单次运行 / 多seed平均 / 线上评测 | 多 seed 平均才可信，单次运行方差极大 |
一个很常见的“水分”是：只报告最佳运行结果，而不是多次实验的平均值和方差。我在跑基准测试时习惯至少用 5 个随机种子重新训练，再报告平均成功率和标准差。不然的话，算法之间几个百分点的差距根本没有意义。
4.4 不要被排行榜骗了：三个常见陷阱
第一，排行榜分数是在特定任务族上算出来的，不代表真实世界复杂度。很多公开基准的任务，干扰少、光照稳定、物体规则，相当于给你发了一套“小学题”。能做小学题不等于会做高考题，真机部署的复杂度往往远超基准任务。
第二，演示数据的录制质量直接影响结果。同样是 100 条演示，如果是遥操作大师录的，轨迹平滑且规划合理；如果是不熟练的操作员录的，动作犹豫、来回抖动，同一个算法训练出来的效果可能差两倍。而公开排行榜通常不公开数据采集者的操作水平，这使得不同论文之间的对比存在隐性不公平。
第三，训练时是否使用了测试时信息，是另一个容易被忽略的灰色地带。有些方法会在训练时使用测试任务的信息，比如物体目标位置，这在单任务基准里可能问题不大，但在追求通用性的系统里会严重虚高。看论文结果时，我会特别留意方法描述里是否明确说明“测试时未见目标信息”这一类的条件。
5. 真实部署中绕不开的五大挑战与我的应对
5.1 数据效率：几十条演示怎么训练出泛化策略
模仿学习的最大现实问题就是数据效率低。一个真实操作任务，通过遥操作采集演示，熟练操作员一小时大概能采几十条到一百条。如果每个任务都需要几百甚至上千条演示，成本根本无法接受。
我的应对思路有两条。第一是数据增强。图像方面，随机亮度、色差、裁剪、旋转这些常规手段能显著对抗过拟合；动作方面，加入轻微噪声和插值平滑，让训练数据分布更饱满。第二是先学会“共同技能”，再做任务调度。如果多个任务共享底层动作模式，比如都是“抓取—移动—放置”，那么可以先用混合数据训练一个基础策略，再在新任务上用少量演示微调。这本质上是用预训练加微调的思路拉高数据效率。
5.2 分布偏移：训练再完美，测试环境也不会按剧本走
分布偏移是模仿学习最经典的敌人。在训练场景里策略表现得再好，光照一变、物体位置偏移、背景换一下，成功率就可能骤降。行为克隆的复合误差只是分布偏移的一种极端表现；更普遍的情况是，模型把训练环境里的噪声当成了任务特征。
我处理分布偏移的经验有三个层次。第一层是感知层：在训练数据里刻意注入环境扰动，让物体位置、光照、背景都有一定随机性，迫使模型学习不变量。第二层是动作层：动作分块加预测置信度判断，当策略对当前状态不确定时，选择保守动作或直接暂停等待人类介入。第三层是系统层：在策略上层加一个监督模块，用低成本感知手段（比如额外的顶部相机）做状态校验，发现与预期不符时切换策略或请求帮助。这套分层抗分布偏移的思路，在真实项目里比单纯换一个模型架构可靠得多。
5.3 数据异质性：不同示范者、不同轨迹风格带来的“认知错乱”
很多人没意识到，模仿学习模型的输出质量上限，取决于数据的一致性。同一个任务，操作员 A 习惯从左边绕过去，操作员 B 习惯从右边绕过去，操作员 C 会在中途停顿犹豫。模型看到这些异质性数据，学到的动作分布就会变得模糊，成功率自然上不去。
我在真实数据收集中总结出几个建议。第一，固定数据采集标准：给操作员培训统一的操作范式，减少风格差异。第二，对人机协同数据做质量清洗：通过轨迹平滑度、任务完成度、动作幅度等指标给每条演示打分，只把高分演示放进训练集。第三，如果数据异质性实在无法避免，优先选择能表达多模态动作的方法，比如扩散策略或隐式策略，而不是单峰的行为克隆。数据清洗这件事听着不够“学术”，但它对最终效果的影响往往比换算法更大。
5.4 长程任务与组合泛化：单步成功不等于整条链路成功
短任务上能做到 90% 成功率，不代表长程任务能做好。假设一个任务由 5 个子任务组成，每个子任务成功率 90%，在完全独立假设下总成功率只有大约 59%。再加上误差在子任务间的传播，实际数字可能更低。长程任务真正考验的是系统能记住上下文、在错误发生后能恢复、以及在多种可能的解决路径中快速选择。
我在这方面的实践是“分层控制”：上层用一个任务规划模型，把长程任务分解成子目标；下层用多个专门训练的模仿学习策略，各自负责一个子动作。上层不关心具体关节控制，下层不操心全局逻辑，各自优化，再用一个状态机或校验模块把它们串起来。这种分层架构虽然传统，但在工程稳定性上比端到端长程模仿学习靠谱得多。
5.5 我的应对工具箱与最后的个人体会
最后整理一份我实战中常用的模仿学习工程清单：
- 开局先做行为克隆 baseline，拿到一个可复现的下限数字，再谈其他架构。
- 数据永远是第一优先级的改进点：先看演示数量、质量和多样性，再怀疑算法。
- 图像增强和动作平滑是两个性价比极高的技巧，几乎每个项目都适用。
- 动作分块（一次性预测 5 到 10 步）通常是简单且有效的升级。
- 上真机前，先在模拟器里做随机化测试，至少确认策略在位置随机化下不掉点。
- 真实部署时务必加安全急停和人机接管通道，不要迷信模型的成功率。
- 记录所有失败案例，它们和成功数据一样值钱，可以用于后续的纠正学习。
如果一定要说一句体会最深的话：模仿学习的瓶颈，从来不只是“神经网络怎么设计”，而是“数据从哪里来、怎么保证数据代表真实世界”。那些在演示视频里看起来惊艳的机器人，背后几乎都是海量的数据工程、精细的评测协议和反复的抗干扰打磨。理解了这一点，再看“分类、演化、基准测试与挑战”，你会看到它们其实指向同一个核心问题：如何用有限的、有噪声的、不完美的数据，学会在这个无限连续的世界里稳定操作。这条路还很远，但每一步可重复的实验，都在把远路变近。
