最近在做人形机器人的任务泛化实验，有个现象让我特别有感触：以前教机器人抓一个透明杯子，得在仿真环境里调半天位姿容差；现在用ICL（In-Context Learning，上下文学习）的思路，把三段人类示教的视频和自然语言指令拼进上下文窗口，模型当场就能在新位姿、新光照下把同款动作迁移过去。这个转变不是简单的"算法换了个更聪明的神经网络"，而是整个机器人示教的技术底座在换思路。这篇内容我准备把ICL和人类示教结合的全貌拆开聊——它解决什么问题、底层怎么工作、我自己跑通的最小系统长什么样，以及哪些坑不踩一遍根本想不到。
无论你是在做机械臂抓取、移动操作平台，还是刚接触机器人导航和ROS 2开发，只要你的目标里有"让机器人少写代码、多学示教"，这篇文章都值得读完。
1. 为什么"上下文学习"会让机器人示教突然变得值钱
1.1 一次"手把手教一遍就会"的朴素愿望
传统机器人编程的核心动作是"预定义":把轨迹点写死、把力控阈值写死、把检测窗口写死。即便用上拖动示教和遥操作，机器人的学习结果依然是一个只对当前工况有效的刚性策略——换一个工件角度、换一道环境光照、换一句口语化指令，之前示教的成果就可能作废。所以很多工厂里一条产线的调试成本能占到项目总成本的百分之三四十，不是因为硬件贵，而是因为"人类知识进到机器人脑子里的路太窄"。
ICL把这个进路拓宽了。它最早火起来是在大语言模型领域：你不需要微调模型，只要在提示词里放几个输入输出的例子，模型就能照着例子解决同类型新问题。机器人领域的ICL思路类似，但多了一个维度——示教数据不再只是轨迹点，而是包含了视觉观测、语言指令、动作序列的三元组。当机器人看到"人类的几个示范例子 + 一句新指令 + 当前传感器画面"时，它不是在匹配一段记忆，而是在上下文里提取任务结构，再生成当前条件下的动作。
1.2 ICL不是让机器人记动作，而是让机器人懂"套路"
我用一个生活化的类比解释ICL示教和传统示教的本质区别。传统示教像教一个实习生背话术，遇到没背过的客户问题就卡壳；ICL示教像给这位实习生看三份处理相似客诉的案例记录，然后告诉他"现在这位客户的诉求是xxx，你按同样的处理逻辑应对"。案例记录不需要包含所有未来的可能情况，它提供的是一种任务级别的"套路"。
这个区别在机器人上尤其重要。因为机器人的工作环境永远是"半结构化"的——物体位置会漂、托盘种类会换、人的站位会干扰视觉。ICL让策略具有了运行时组装的能力：示教片段不是被写进网络权重里，而是作为上下文条件在推理时参与决策。也就是说，同一个模型权重，放进不同的示教上下文，输出的是不同的行为模式。这在任务切换频繁的柔性生产场景里，价值是直接换算成调试人天数的。
1.3 它和传统示教的根本差异
我在实际调研中整理了三条根本差异，方便你快速对照：
| 对比维度 | 传统示教（轨迹复读） | ICL式示教（上下文策略） |
|---|---|---|
| 数据利用方式 | 记录轨迹/点位，回放 | 在推理时按上下文动态约束策略 |
| 新任务适配 | 重新示教+重新标定 | 替换/增加少量示教即可 |
| 跨工况迁移 | 弱，依赖标定一致 | 较强，语义+视觉+动作联合约束 |
| 调试门槛 | 需要懂机器人编程 | 更依赖数据质量和模型泛化能力 |
这个表看着简单，但背后的工程代价完全不同。传统示教要求你保证每次示教时的坐标系、工装、光照高度一致，否则回放轨迹就是废的；ICL示教允许场景有变化，但要求你的示教数据在语义上"把任务讲清楚"。换句话说，人的工作从"调机器人"变成了"剪辑教学视频"。
2. 人类示教的新解法：从轨迹回放到语义泛化
2.1 传统示教的上限在哪
传统的人类示教技术，比如拖动示教、示教器点位编程、遥操作录播，本质是"让机器人复制人的动作曲线"。这套方法的优势是稳定、低算力、好理解，但上限非常明显：机器人只拿到了一张"动作答卷"，没有拿到"解题过程"。它不知道动作背后对应的物体属性、空间关系、任务意图，所以一旦环境发生哪怕很小的变化——比如目标物体从正方体换成圆柱体——策略就失效。
我见过不少做机械臂抓取的团队，被这个问题卡了大半年。他们的数据采集管道做得极好，轨迹平滑、力控稳定，但策略只能在"当时那个场景"里有效。换一个出发点，成功率就跳水。原因正是因为没有把任务语义变成可供模型调用的上下文。
2.2 ICL式示教的数据形态：语言、图像、轨迹三段对齐
ICL式示教的数据集长什么样？我以一个"把红色积木叠到蓝色积木上"的任务为例，一组上下文示教数据通常由三层组成：
- 语言层：一条自然语言指令，比如"把红色积木放到蓝色积木上方居中位置"。如果平台支持，还可以拆成子步骤："先抓红色积木，再移动到蓝色积木上方，最后松手。"
- 视觉层：示教过程中关键帧的RGB-D观测，可以是从头到尾的序列，也可以是采样后的稀疏关键帧。这里一般还会配一组"当前场景"的实时观测，用来触发策略生成。
- 动作层：与视觉帧对齐的6-DOF机械臂动作、夹爪开合状态、移动底盘速度指令等。
这三层必须在时间上对齐、在语义上对应。在构造ICL上下文时，通常的做法是把语言指令作为提示前缀，然后把若干组"过渡帧 + 动作"作为示例对放进去，最后附上当前实际观测，让模型输出下一步动作。这里的每一步动作预测都会依赖前面的上下文，这正是"上下文学习"的意思：模型不是在执行固定脚本，而是在进行条件生成。
2.3 工业场景里最可能先落地的三个切面
我在跟几个做产线集成的朋友交流后，比较看好三个切面在近两年落地ICL示教：
- 小批量分拣与上料：物料种类频繁切换，传统视觉分拣需要每换一种料就重新配置模板，ICL示教可以让工程师在现场"做两次示范"完成换产。
- 装配中的柔顺对齐：装配任务往往难以用固定轨迹描述，更多依赖孔位、密封圈等视觉特征。ICL可以把"用探针轻轻试探"这类隐式经验用示教视频表达出来。
- 移动操作平台的语义导航：结合机器人导航和操作，比如"把工具箱从A区搬到B区工作台"这类任务，ICL上下文可以同时包含路径偏好和操作习惯。
这三个切面的共通之处是：任务逻辑清楚，但工况不固定，传统编程成本高。ICL的优势恰好在这类场景里最能被量化成ROI。
3. 核心原理拆解：视觉-语言-动作模型里的上下文是如何编排的
3.1 上下文窗口里到底塞了什么
如果我们把ICL机器人系统拆到最底层，它本质上是一个视觉-语言-动作模型（VLA），输入是"上下文窗口"，输出是动作token序列。上下文窗口的组织方式直接影响策略质量。以我自己实验过的结构为例：
[系统提示词] 你是一个机械臂操作助手。基于示教示例，完成当前任务指令。 [任务指令] 把白色马克杯放到托盘右上角。 [示例1 - 观测帧图元] <image: 第1帧RGB-D> [示例1 - 动作token] move_to(cup_center, gripper_open) grasp(force=3.5) ... [示例2 - 观测帧图元] <image: 第2帧RGB-D> [示例2 - 动作token] ... [当前观测] <image: 当前实时RGB-D> [输出]这里有几个容易忽略的关键点：
- 视觉观测一般不是普通图片，而是经过tokenizer编码成视觉token序列，再映射到语言模型的embedding空间。换句话说，"图像"进入上下文窗口时已经被压缩成模型可读的特征，而不是像素本身。
- 动作token也不是简单的"关节角度的数值"，它通常会经过动作tokenizer离散成动作词元。例如把连续关节位置用VQ-VAE量化成256个码本索引，模型预测的是码本索引，解码后再还原成连续动作。这一步类似于"动作的字典"。
- 系统提示词不用太长，但必须稳定，因为它的作用是框定模型的输出格式。一旦格式漂移，动作token解码就会失败。
3.2 条件生成策略：为什么示教不是被"存储"而是被"调用"
在ICL场景里，模型权重中并没有为某个具体任务单独存一套参数。示教示例是以上下文的形式临时出现在输入序列中的。推理时，模型会在注意力机制里把当前观测与上下文中的多个示教帧进行交叉匹配，并从中提取"当前该执行什么"的表征。
这个过程可以理解成一个"运行时查表+插值"的过程：上下文示例越多，模型的约束越紧，输出越稳定；但上下文越多，计算开销越大，甚至会产生示例之间的互相干扰。所以ICL示教的工程核心不是"多就好"，而是"怎么挑示教片段放进上下文"。我常用的策略是：
- 每个任务放2到4个示教片段，每个片段采样4到8帧关键帧。
- 如果任务包含多阶段（抓取→移动→放置），按阶段切分示教，每个阶段独立作为一段示例对。
- 保证示例中的视角、光照、物体位姿尽量覆盖运行时的主要分布，而不是刻意追求"极端情况"。
3.3 一个最小示例：用OpenVLA风格模型跑通"杯子放到托盘"任务
OpenVLA是目前比较适合入门ICL示教的开源VLA模型之一。它的输入输出结构天然支持上下文式交互。我用一个极简流程说明它是怎么工作的：
from transformers import AutoProcessor, AutoModelForVision2Seq import torch processor = AutoProcessor.from_pretrained("openvla/openvla-7b", trust_remote_code=True) model = AutoModelForVision2Seq.from_pretrained( "openvla/openvla-7b", torch_dtype=torch.bfloat16, trust_remote_code=True, ).to("cuda:0") # prompt构造：这里把示教帧、指令、当前观测拼进同一个prompt prompt = ( "A robot arm is operating on a tabletop. " "Instruction: Place the white mug onto the tray's top-right corner. " "Example 1 starts." + tokenizer_image_token("<image>...示范帧编码...", processor.tokenizer) + "Action: move_to(0.32, 0.15, 0.08); grasp(3.5); lift_to(0.25); ... " "Example 2 starts." + tokenizer_image_token("<image>...示范帧编码...", processor.tokenizer) + "Action: ... " "Current observation:" + tokenizer_image_token("<image>...当前位置编码...", processor.tokenizer) + "Action:" ) inputs = processor(prompt, return_tensors="pt").to("cuda:0") with torch.inference_mode(): action_ids = model.generate(**inputs, max_new_tokens=8, do_sample=False) action_tokens = processor.tokenizer.decode(action_ids[0], skip_special_tokens=True)这段代码只是演示，真实工程里还需要做动作tokenizer的码本对齐。但我建议第一次尝试的人不要上来就搞端到端训练，而是直接用预训练OpenVLA做raw inference，把注意力集中在"上下文怎么拼"上，这样能最快建立直观认识。
4. 实操验证：我自己跑通一版ICL示教的最小系统
4.1 选型与理由
我搭的最小系统选的是Franka Emika Panda机械臂加Intel RealSense D435i相机，仿真环境用Isaac Lab，模型底座用OpenVLA-7B。选这套组合的原因有三条：
- Panda在学术界和工业界都很常见，URDF和ROS 2驱动成熟，做示教数据采集时比较省心。
- D435i能同时提供RGB和深度图，而VLA模型对RGB-D观测的支持更好。深度信息在抓取高度估计时能明显降低动作token的输出误差。
- OpenVLA的预训练权重包含大量真实机器人的操作数据，它对"示教上下文"的敏感度比其他从零训练的VLA模型高很多，适合做人类示教的ICL验证。
仿真环境选Isaac Lab是因为它支持GPU并行批量推演，我可以一次跑多个随机化的场景来评估上下文里的示教片段是否真正泛化。
4.2 数据采集与上下文构造
数据采集这块我踩过不少坑，先说一个最影响结果的原则：示教数据的质量优先级远高于数量。我最终只用了每组任务20条左右的人类示教轨迹，但每条轨迹都用分阶段录制的方式完成。
具体做法是：
- 第一阶段为"对准阶段"：记录机械臂末端接近物体、夹爪张开状态、物体在图像中的位置。
- 第二阶段为"交互阶段"：记录抓取、力反馈、夹爪闭合等关键动作。
- 第三阶段为"放置阶段"：记录目标位置、末端高度、松手动作。
每个阶段单独抽取关键帧，而不是把整段视频全部塞进上下文。关键帧的选择逻辑以"任务状态发生变化的时刻"为锚点，例如夹爪开始闭合前一帧、物体被夹起后一帧、松手前一帧。这种采样方式能让上下文在最短的序列长度内覆盖最多的状态信息。
在构造上下文时，我把语言指令放在最前面，然后把各阶段关键帧按时间顺序排列，每帧后直接跟对应的动作段。对于当前实时观测，我没有直接把单帧画面扔进去，而是用"最近三帧的拼接特征"作为输入。这样能给策略提供一点时序线索，避免因为抖动导致动作预测抖动。
4.3 训练与推理环节
最小系统里我采用的是轻量级LoRA微调，不是完整微调。因为完整微调VLA-7B需要大量算力，而ICL示教的核心优势是"少样本"，所以LoRA的参数量足够让模型习惯"人类示教上下文的格式"，同时保留预训练模型的泛化能力。
训练数据不是直接把原始示教轨迹喂进去，而是先构造"任务指令 + 示教上下文 + 下一步动作"的三元组。例如一条完整示教轨迹会被切成长度为4到6的短序列，每个短序列都是"输入上下文 + 当前帧 + 当前动作"的监督信号。这样模型在推理时，就能根据当前位置的观测逐步决策，而不是整段轨迹回放。
推理时我做了两块优化：
- 使用beam search而不是greedy解码，beam size设为3。虽然推理速度变慢，但动作token的稳定性提升明显，尤其是在夹爪开合这类离散动作上。
- 把动作token的码本索引直接映射到机器人控制空间的中间层，经过一个很小的MLP解码器输出关节速度。这样做的好处是，动作输出不会出现码本中不存在的非法值，控制频率能稳定在30Hz左右。
4.4 踩坑记录
这个最小系统在初版跑通时，有一半的失败案例都出在一个问题上：上下文里的示教帧和被干扰后的当前观测之间出现了物体位姿的大幅偏差。比如示教帧里红色积木在画面左侧，当前帧由于视角微调跑到了右侧，模型就会在"抓取"和"等待"之间反复横跳。后来我在上下文末尾额外加了一句位置提示，比如"当前帧中目标物体的中心位于图像坐标(420, 235)"，成功率才明显回升。
另一个坑是动作token解码抖动。刚开始我把夹爪开合设计成了连续值，结果模型的输出在0.2和0.8之间来回跳，导致夹爪不断抖动。改成离散的"开/关/保持"三态动作token后，稳定性大幅提升。这让我意识到，ICL示教的动作空间设计一定要跟控制需求的粒度匹配，不能把人类示教里的连续力变化直接硬塞进离散tokenizer。
5. 参数、指标与调优：哪些数字在真正影响上下文学习效果
5.1 上下文长度与示教数量的关系
很多人刚接触ICL时以为示教放得越多越好。我在同一组任务上做了对照实验，示教数量从1组增加到6组，结果是：2到4组时成功率上升最明显，继续增加到6组后成功率反而有约5%的下降。原因是上下文里示例之间可能存在视觉歧义，模型不知道当前任务究竟该对齐哪条示教的运动趋势。合适的上下文长度还需要考虑模型本身的窗口上限。
我的经验值是：每个任务放3组示教，每组示教抽5帧关键帧，整条上下文控制在40到60个token以内（不含图像token）。图像token因为分辨率的关系会占掉很多空间，所以需要平衡关键帧的分辨率和上下文总长度。一般把示教帧缩放到224x224即可，再高对动作token的预测收益不大，但计算成本翻倍。
5.2 语言指令与视觉锚点的比例怎么配
ICL式示教里，语言指令不是可有可无的装饰。它的核心作用是给任务定义"不可观察的约束"。视觉观测能看到物体的颜色和位置，但看不到"把杯子放到托盘右上角"中的"右上角"这个语义。语言指令在上下文中的位置也要注意，放在上下文最前面比放在中间或者末尾的成功率更高。
我在调优过程中尝试过把语言指令拆成子步骤，每步前面配一个"子目标状态"。比如"先接近杯子，再张开夹爪，再闭合夹爪，再抬升到0.25米，再移动到托盘上方"，这比一句笼统的"把杯子放到托盘右上角"更稳。原因很直接：子步骤给模型提供了中间状态锚点，模型每一步只需要预测一个短小的动作，而不是直接从大跨度填图。
5.3 我用过的评估指标和任务集
ICL示教没有一个通用的评估指标，我通常从三个维度分别量化：
- 任务成功率：设定一个明确的成功判据，比如杯子中心点与托盘指定角点距离小于2cm且无倾倒。
- 动作稳定性：统计推理轨迹的关节速度突变次数。突变次数越多，说明上下文对动作约束越弱，策略越像是在"猜"。
- 跨工况鲁棒性：在评估时对物体位置、相机视角、光照强度分别做随机扰动，然后统计成功率衰减幅度。这个指标最能反映ICL示教是否学到了任务语义，而不是记住了场景表象。
我使用的测试任务集包括"码垛不同形状积木""按颜色分类摆放""将工具递给指定方向的人"三类。每类任务准备5种场景变体，总共15个测试case。只要成功率不低于70%，我就会认为这个ICL上下文是可用的。这个阈值不算高，但在实际项目中足够支撑半自动化的调试流程。
6. ICL示教的边界与风险：哪些场景暂时别碰
6.1 分布外任务：上下文里没有的物体就是认不出来
ICL不是万能的，它最明显的边界就是分布外泛化。我在实验里测试过"上下文全部是红色马克杯，但实际场景中出现的是蓝色保温杯"这种情况。结果发现模型在抓取策略上还是会输出接近"抓杯子"的正确趋势，但成功率明显低于同色同型物体，因为它对"蓝色保温杯"的几何结构和摩擦属性的先验不足。
如果你要做新物体且不在预训练分布里，最有效的办法是给上下文里补一段"该物体的简短属性描述"，比如"蓝色保温杯，杯身较粗，表面有硅胶套，中心位置约在图像坐标(310, 220)"。这种补充相当于把分布外物体的关键视觉属性先放进语言层，让模型不靠像素也能建立基本表征。但如果你连物体长什么样都没有任何描述，期望ICL凭空泛化，基本不现实。
6.2 安全与容错：机器人不能学"有毒示范"
人类示教自带人类的随意性。我在录数据时有一次没注意线缆位置，机械臂运动时差点把相机线扫倒。后来我在系统里加了两层保护机制：
- 第一层是示教数据清洗，对轨迹做速度、加速度和关节限位检测。凡是峰值速度超过安全阈值的片段，直接弃用。模型学到的绝不应该是人类偶尔的莽撞动作。
- 第二层是推理时的实时碰撞检测，基于当前关节位置和深度图计算末端到最近障碍物的距离，距离小于安全阈值时就暂停执行，并且把暂停状态反馈给策略，而不是硬要模型强行输出动作。
我强烈建议任何做ICL示教的人都不要把安全完全交给模型。因为ICL的特性是"从上下文中提取统计规律"，一旦示教数据里存在"高风险但偶然成功"的片段，模型也会把它当成一种可选策略。你需要让它在有限的动作空间里运行，而不是让模型自由探索所有可能的动作。
6.3 数据质量问题：示教的噪声会以什么方式放大
这里要特别警惕一个问题：ICL的上下文很短，数据里的噪声不会因为样本量大而被平均掉。一个抖动剧烈、夹爪开合时机错误的示教片段，在整个上下文中可能就占三分之一的分量，它会直接污染模型的输出分布。
给一个非常具体的例子：我在录制"放置到托盘右上角"时，有一次末端在接近托盘时碰了一下边缘，轨迹出现了一个不自觉的侧向偏移，幅度只有1cm。这个噪声在人类眼里完全不起眼，但在动作token解码时，模型会把"侧向偏移"理解成一种可能的放置路径偏好，于是每次推理都会带着一个奇怪的横向分量。后来我采用了"示教轨迹重映射"的方式修正这类问题：把原始轨迹的末端位置重新投影到期望的运动平面，再做平滑处理。这样既保留了人类示教的意图，又滤掉了偶然的物理碰撞噪声。
7. 给工程师和研究者的一些现实建议
如果要总结我在ICL机器人上下文学习与人类示教这条线上的真实体会，我最想说的是：ICL示教的工程难点已经不在模型结构，而在数据编排和上下文设计。
我见过太多团队拿到一个开源的VLA模型，第一反应是"多录几万条轨迹然后全量微调"。这个思路不能说错，但这是在用旧方法解决新问题。ICL最大的价值恰恰在于"少样本、现场学、快速切换"。如果你录了两万条数据，那你更应该考虑的是怎么从这些数据里自动筛选出高质量的少量示例组，并在推理时按语义检索出最相关的一组塞进上下文。这个"上下文检索器"的未来价值，比无脑全量微调要大得多。
对于刚入门的朋友，我的建议很朴素：先在开源仿真环境里搭一套最小的视觉-语言-动作闭环，把5个以内的人类示教片段拼成上下文，观察模型在不同视角和位置下对动作token的预测变化。这个过程不需要昂贵的机器人硬件，也不需要多大的GPU，但对理解ICL示教的数据敏感性会非常有帮助。等你亲手调过一轮上下文里的关键帧顺序和语言指令粒度，再回到自己的机器人平台上，思路会完全不一样。
