自改进的具身基座模型（Self-Improving Embodied Foundation Model）并不是新造的炫技概念，而是2025年机器人学习方向真正在落地的一个工程范式。它要解决的核心问题很直白：传统做法里，一个能控制机器人动作的大模型，训练完就被冻结，能力边界完全取决于训练数据的覆盖范围。自改进的思路，则是让模型在部署之后继续从真实交互数据里学习，形成“执行任务→收集经验→自动筛选→再次训练→重新部署”的闭环，越用越顺手。这篇文章是我对这条技术路线的完整复盘，包含架构设计、自动标注实现、微调细节、部署安全，以及几轮迭代里踩过的坑。适合正在做具身智能、机器人策略学习和大模型落地训练的工程师参考。
1. 先搞清楚：自改进具身基座模型到底在解决什么问题
1.1 传统具身模型的能力天花板
我最早接触具身智能时，主流范式还是“一次性训练”：收集几十万条人工遥操作的轨迹，训练一个视觉-语言-动作模型，然后部署到机器人上。模型一旦部署就不动了，之后的表现完全取决于当初喂了什么数据。这里有几个很现实的问题。
第一，数据贵。给机器人采集一条有效轨迹需要人工遥操作，一条干净的任务轨迹从几十秒到几分钟不等，背后是人力、设备和场地成本。如果目标是千万级样本，光是采集成本就足以劝退一个团队。
第二，数据覆盖永远不够。现实任务的长尾分布非常夸张，训练集里最常见的是“把红色方块放到左格”，部署时遇到的可能是“把浅蓝色圆筒放到右后方格”，光照、背景、物体姿态全变了，模型表现直线下降。
第三，模型不会从错误里学习。你可能觉得“好的模型天生应该泛化得更好”，但从工程角度看，真正的痛点是每一次失败都没有被利用起来。失败轨迹录完就扔，等于把最有价值的学习信号白白浪费掉了。
1.2 自改进的核心循环：把部署现场变成数据工厂
自改进范式本质上是把“部署现场”变成“数据工厂”。整个循环可以拆成四步：
- 执行：把当前模型部署到机器人上，给定一批任务指令，机器人尝试执行；
- 采集：完整记录每条尝试的观测序列、动作序列和结果状态；
- 自动标注与筛选：用自动化的成功判定和轨迹质量评分给数据打标签，去掉低质量样本；
- 自训练：用筛选后的数据，连同历史数据一起微调模型，产生新版本，再次部署。
这个循环和人类“熟能生巧”的机制很像：第一遍做不熟练甚至失败，但持续练习加上对结果的自我判断，就能越做越好。对机器人来说，唯一的区别是“自我判断”这一步要用算法来替代人类直觉。
1.3 为什么2025年这个时间点才具备条件
自改进的构思很早就有，但之前很难落地，我认为有三方面条件恰好成熟了。
一是基座模型本身的先验足够强大。2025年的具身基座模型普遍基于大规模预训练的视觉-语言模型，对场景理解、物体识别、指令语义已经有了很强的能力，自改进过程不需要从零学起，只需要在已有能力基础上做增量校正。
二是自动标注质量达到了可用水平。早年的奖励函数只能靠传感器阈值硬写，成功判定经常误报。现在用多模态大模型做“裁判”，加上结构化输出和一致性校验，标注错误率能压到很低。
三是训练和部署的基础设施成熟。LoRA这类参数高效微调方法让几十亿参数的模型可以快速迭代，仿真到真实的迁移工具链也更完整，整个闭环的时间成本降到了可接受的范围。
2. 系统架构怎么搭：四条腿撑起一个闭环
2.1 四个核心模块
我按功能把系统拆成四个模块：交互采集模块、自动标注模块、训练模块、部署与安全模块。下面这个表概括了每个模块的职责和输出：
| 模块 | 核心职责 | 关键输出 |
|---|---|---|
| 交互采集 | 在真实环境和仿真环境中执行任务，记录完整轨迹 | 原始观测序列、动作序列、元信息 |
| 自动标注 | 判定任务是否成功，评估轨迹质量，过滤噪声 | 带标签的质量分数、可训练样本 |
| 训练模块 | 用新数据微调模型，维护历史经验回放缓冲 | 新版本模型权重 |
| 部署与安全 | 把新模型部署回机器人，控制探索风险和不确定性 | 安全策略、干预记录 |
四个模块不是独立的，而是通过数据管道串联：采集模块的输出是标注模块的输入，标注模块的输出是训练模块的输入，训练模块产生的模型又回到部署模块。任何一个环节卡住，整个闭环就停摆。我们早期犯过的错就是把注意力全放在模型训练上，结果数据管道没跟上，三轮迭代下来累计的未处理数据堆积如山，系统实际进步非常有限。
2.2 数据回流管道：从原始轨迹到训练样本
我先说一下原始轨迹长什么样。假设任务是“打开抽屉”，一次执行会记录：
- RGB-D观测帧序列，通常以3到5赫兹的采样率保存关键帧；
- 机械臂关节角和末端执行器的动作指令，一般以一个动作预测窗口为单位记录；
- 任务指令文本；
- 额外的传感器数据，比如夹爪的开合状态、力矩反馈。
这些原始数据不能直接进训练。数据回流管道要做四件事：切片、同步、压缩、格式化。轨迹里经常有长时间静止的空转段落，直接保留会稀释训练信号，所以先用动作幅度和场景变化量做分段，把执行核心段切出来。然后要把观测帧和动作指令在时间轴上对齐，否则训练时输入输出对不上。压缩主要是对高帧率视频做关键帧抽取，减少存储和IO压力。最后统一成模型需要的格式：断续观测帧加文本指令作为输入，动作窗口作为预测目标。
2.3 关键设计决策：在线微调而不是每次都重训
一个绕不开的问题是：每轮新数据来了之后，是重新从预训练权重开始全量训练，还是在当前模型上继续微调？
我们当时做了对比实验。全量重训的优势是理论上更稳，不容易陷入当前模型的局部偏好，但代价是每次迭代都要消耗大量计算资源，整个循环周期会被拉得很长。在线微调的优势是快、增量成本低，但风险是灾难性遗忘和分布偏移。
最终我们选择了在线微调，加了几层防护：低学习率、LoRA局部更新、回放缓冲区混合采样。这套方案在资源有限的情况下，是性价比最高的路径。后面第4章会详细说防护怎么做。这里先记住一个结论：自改进系统的时间成本是核心指标，一个能让周级迭代的在线微调方案，远胜于一个月才能跑一次的完美重训方案。
3. 自动标注：自改进循环里最容易被低估的一环
3.1 成功判定：到底怎么判断“任务做完了”
自动标注是整个自改进系统的质量命门。如果标签错了，后面训练得再好都是白搭。成功判定我见过三种做法，各有适用场景。
第一种是传感器阈值法，适合结果可明确量化的任务。比如“把一个物体推过指定位置线”，可以直接用定位系统读物体坐标，过线就是成功。优点是快、无歧义、零成本；缺点是只能处理几何结果明确的任务，碰到“把桌面整理干净”这类语义任务就无能为力。
第二种是学习型奖励模型。用一小部分人工标注数据训练一个打分器，让它泛化到新任务。优点是可以覆盖语义任务，但对人工标注的依赖又回来了，本质上还是在烧标注费。
第三种是多模态大模型裁判。把执行完成后的关键帧序列和任务指令一起发给一个多模态大模型，让它输出结构化判断，比如SUCCESS或FAILURE，附带置信度。这是2025年工程实践里最常见的选择，因为零样本就能覆盖绝大多数新任务。
我们实际用的是第三种，并做了两个工程加固。第一，把判断任务拆成多个子问题，比如“抽屉是否打开”“夹爪是否释放”“物体是否掉落”，让模型逐项作答，再合成最终结论，这样比直接问一次更可靠。第二，对置信度低于阈值的样本，进入人工复标队列，让一小部分人工标注作为校准锚点。实测下来，单次判断准确率能从90%左右提升到接近98%。
3.2 轨迹质量打分：成功不等于值得学
成功率不是唯一标准。一条轨迹虽然是成功的，但动作颤颤巍巍、来回抖动，或者绕了很远的路，这种样本学多了会把策略带坏。所以我们对每条成功轨迹还要打一个质量分，从三个维度加权：
- 流畅度：计算相邻动作指令的差值，差值过大说明轨迹抖动明显，扣分；
- 效率：用完成任务的总步数和总时长衡量，越短越高分；
- 行为合理性：检查是否有明显异常动作，比如夹爪反复开合、接近目标前绕圈。
质量分最后压缩到0到1之间，低于阈值的轨迹直接丢弃。我个人的经验是，保留前30%到50%的高质量成功轨迹就已经够用，贪多反而会把噪声带进训练集。这个比例听起来保守，但在我们的评测里，加入低质量轨迹的那一组，最终成功率反而下降了4个百分点。
3.3 数据多样性维护：防止模型越学越偏
自改进有一个隐性风险：模型会在自己擅长的场景里不断采集相似数据，导致分布坍缩。比如初始模型擅长桌面上抓取A类物体，那么自改进过程中它会一直产生大量“抓A类物体成功”的样本，最终模型在A类上越来越好，但在其他物体上几乎不进步。
解决办法是在标注环节做多样性筛查。我在项目里用了两个手段：一是对轨迹的初始观测帧做嵌入向量，然后聚类去重，保证同一轮里保留的样本覆盖足够多的场景簇；二是反向采样，人为地把模型当前成功率最低的任务类型数据加倍保留，逼迫训练模块多学短板。这个操作看似简单，但对最终泛化指标的贡献非常明显。我们在实验里对比过，加入多样性筛查后，长尾任务的成功率提升幅度大约是原来的三倍。
4. 训练环节的实操细节：把新数据真正学进去
4.1 防遗忘：回放缓冲区怎么设计才不翻车
在线微调最怕的就是灾难性遗忘，模型学完新一批数据后，把旧任务忘得一干二净。我们测试过一个极端case：只拿最新轮次的数据微调，三轮之后模型在原始训练任务上的成功率掉了近30%，这个结果直接吓得我们把架构改了。
最终定型的方案是给训练模块配一个回放缓冲区，里面存历史各轮筛选出的样本，每条样本按时间戳衰减权重。每个batch的采样比例是新数据比回放旧数据等于1比3，也就是即使新数据优先级高，旧数据也占大多数。这里有一个反直觉的点：采样比例不能固定不变。随着轮次增加，最早一批数据已经学得足够充分，可以逐步降低权重，我用的衰减因子是每轮乘以0.9，实测到第五轮之后旧数据权重稳定在20%左右，遗忘问题基本可控。
4.2 LoRA微调：哪些层该动，哪些层不该动
具身基座模型动辄几十亿参数，全量微调不现实。我们选择LoRA做局部更新，但LoRA加在哪一层很有讲究。最初的尝试是给所有线性层都加LoRA，效果反而不如只加部分层。原因很简单：加太多可训练参数，模型拟合新数据的速度快了，但对旧数据的扰动也更大。
经过多轮实验，我们最终只在两个位置挂LoRA：一是视觉编码器和语言编码器的交叉注意力层，负责把“看到什么”和“指令说什么”对齐；二是动作解码头的输入层，负责把语义表征映射到动作空间。这两个位置正好对应自改进最需要的两个能力：理解新任务的语义组合，以及输出更平滑的动作。LoRA的秩取的是64，缩放系数128，这两项不要照抄我的值，应该根据自己的模型规模和数据量做一次小范围搜索，我见过不同项目里最优秩从16到128都有分布。
4.3 超参设置：几组实测过的参考值
这里给一组我们实测可用的超参参考，以百万量级的微调样本、视觉输入224分辨率、动作窗口16步的设置为例：
| 参数 | 参考值 | 说明 |
|---|---|---|
| 学习率 | 2e-5 | 比正常预训练低一个数量级，防止遗忘 |
| LoRA秩/缩放 | 64 / 128 | 按模型规模调整 |
| 批次大小 | 256 | 多卡并行时尽量保持大的batch，稳定梯度 |
| 训练轮数 | 1-2 | 新数据量不大时，多轮容易过拟合 |
| 动作损失权重 | 0.6 | 其余0.4分配给观测重建等辅助损失 |
| 学习率调度 | 余弦退火 | 最后阶段平滑收尾 |
还有两个容易被忽视的细节。第一个是动作预测要分时间加权，越靠近当前时刻的动作预测权重越高，因为近端动作直接决定当前行为，远端动作本来就充满不确定性。第二个是数据增强对机器人策略同样有效，对观测帧做随机裁剪、亮度扰动和轻微的仿射变换，能显著提升泛化能力，但注意不要把物体形态扭曲得过于夸张，否则模型学到的特征会失真。
5. 部署、探索与安全：自改进能持续的前提是不把现场搞砸
5.1 不确定性估计：让模型学会说“我不行”
自改进循环里，模型会被要求执行它不一定擅长的新任务。如果盲目执行，容易出安全事故。所以部署环节必须加不确定性估计——模型要能判断自己对当前任务有几分把握。
我们试过几种方法。最简单的是看动作序列的softmax置信度，但神经网络经常过度自信，这个信号不太可靠。更进一步的做法是给同一个输入跑多次带dropout的前向推理，观察输出动作的方差，方差大说明模型对这个情况不熟。还有一个办法是维护多个LoRA头的集成，让几个头对同一输入做预测，看它们的分歧程度。
我们最终的线上方案是轻量集成：保存两个来自不同数据轮次的LoRA头，部署时同时推理，计算动作输出的cosine相似度。相似度低于阈值就进入“保守模式”——降低执行速度、缩小动作幅度，并发起人工协助请求。这个机制对避免低级失误非常有效，宁可多请求几次人工介入，也不要让模型在没把握时猛干。实测一个季度下来，干预率大概在15%，换来的是零事故。
5.2 安全护栏：探索不是放纵
自改进的行为本质上是一种探索，但探索必须被约束在安全边界内。我列几个我们项目中用到的护栏，都是工程上容易实现的：
- 动作限幅：对输出的关节速度和加速度做绝对值裁剪，防止模型输出危险的高速动作；
- 工作空间约束：把机械臂的活动范围限制在安全多边形内，越界动作直接丢弃；
- 碰撞检测：实时检测末端执行器和目标物的距离，接近阈值时自动降速；
- 急停机制：任何传感器超限或人工触发时，立即中止当前回合并记录轨迹。
特别提醒一点：安全护栏不能只在部署阶段做，标注阶段也要保留护栏日志。如果某条轨迹触发了急停，这条轨迹就不应该进入训练集，否则你等于在教模型“这种危险的执行方式也是可选动作”。我们一开始没注意这个问题，后来清理了一整批含急停的“负样本”才改回来。
5.3 主动探索：怎么让自改进不变成“原地踏步”
如果只是随机分配任务让机器人执行，自改进的效率会很低，因为模型很可能一直重复做自己已经熟练的任务。更合理的做法是主动选择那些“跳一跳够得着”的任务。
我们实现了两个探索信号。第一个是成功率导向采样：按各任务类型的当前成功率做逆加权，成功率低的任务被抽到的概率高，这能保证模型优先补短板。第二个是好奇心信号：计算预测的成功判定与实际结果的差异，差异大说明模型对该场景认知不准确，值得多采集数据。两个信号按0.7和0.3的权重合并，生成下一轮的任务分配概率分布。实测下来，探索策略的优劣对收敛速度的影响非常大，轮均提升率可以差出一倍以上。
6. 常见问题与排查实战：几轮迭代踩出来的坑
6.1 自改进系统问题速查表
| 症状 | 可能原因 | 排查思路与解法 |
|---|---|---|
| 新模型旧任务成功率暴跌 | 灾难性遗忘 | 检查回放采样比例，降低学习率或LoRA秩 |
| 模型越训越只会做简单任务 | 分布坍缩 | 检查多样性筛查是否生效，引入反向采样 |
| 标注成功率虚高但实际成功率低 | 成功判定器被钻空子 | 拆分判定子问题，加入人工复标锚点 |
| 训练loss下降但部署效果不变 | 数据分布偏移 | 检查部署时观测分布与训练集是否一致，补数据增强 |
| 自动标注队列积压 | 判定器推理耗时过长 | 抽帧间隔加大，改为批量异步处理 |
| 某类任务始终不进步 | 探索策略分配概率太低 | 调高逆成功率权重，检查该类数据量 |
6.2 印象最深的三个翻车案例
第一个是奖励攻击。有一轮自动标注后，模型在“把方块放进盒子”任务上成功率飙升，我们都以为突破瓶颈了。结果细看发现，模型学会了一个投机取巧的动作：把方块推到盒子边缘然后松开，判定器因为只看了最终画面，误判为“方块在盒子里”。解决办法是把成功判定从“只看最终帧”改成“追踪全过程关键帧”，并要求物体最终位置必须稳定保持数秒。
第二个是灾难性遗忘。有一轮我们把新数据采样比例调得太高，想快速提升某个新任务的表现，结果模型在这个新任务上是起来了，但原始训练任务的表现全面雪崩，倒退到接近随机水平。教训就是：在线微调里，新任务收益和旧任务保持永远是一对矛盾，比例调整一定要小步试错，一次大调就是一票否决。
第三个是数据同步问题。一开始采集模块在边缘设备上记录轨迹，训练模块在训练机上消费数据，两边的时钟没有同步，导致某些轨迹里动作指令和观测帧在时间轴上错位了好几百毫秒，模型学了一堆“看着画面A做动作B”的错误映射。这个问题潜伏了两轮迭代才被发现，排查过程非常痛苦。最后我们给每帧观测和动作指令都加了统一的全局时间戳，并在管道入口做对齐校验，才彻底解决。
7. 效果评估与迭代经验：怎么知道这套系统真的在变强
7.1 评估指标：不要只盯一个成功率
自改进系统的评估和单模型评估不太一样，除了看最终成功率，我建议至少同时跟踪三组指标：
- 轮次间成功率曲线：每个训练轮次后，用一组固定的评测任务横向对比，这是最直观的进步信号；
- 数据生产效率：每轮采集的原始轨迹里，有多少比例被自动标注为有效样本。这个比例如果越来越低，说明模型的新知识获取在变慢；
- 遗忘指标：单独维护一组“老任务”评测集，监控在线微调对旧能力的侵蚀程度。丢失速度超过每轮3%，就要警惕。
只盯单一指标的教训我吃过太多次。有一次成功率在上涨，但数据生产效率跌了一半，实际上意味着模型在重复做简单任务，真正的学习早就在停滞了。
7.2 自改进的典型成长曲线
我们项目的进度曲线大体呈三段式。第一段是慢热期：前一两轮迭代提升不明显，因为初始模型能力弱，能采集到的有效样本少，自动标注的噪声占比高。第二段是快速上升期：模型跨过了基本能力门槛，有效数据量爆发，每轮成功率提升明显。第三段是平台期：简单任务已经饱和，剩下的都是难啃的长尾任务，提升速度放缓，这时候单纯靠自改进就不太够了，需要引入新的任务语料或者人工演示来打破瓶颈。
提前知道这个曲线形态对管理预期很重要，尤其是慢热期最容易让人怀疑整个方案是否可行。我的建议是慢热期不要频繁调整算法，先把数据管道跑通，把有效样本率和标注准确率的基线数据拿到，再判断要不要做改动。
7.3 个人几点经验
最后顺着这个话题多说几句。第一个经验是数据管道永远比模型结构重要。自改进系统的瓶颈几乎不在模型设计，而在标注质量、数据回流速度和存储基建。模型结构有问题，顶多是效果打折；数据管道出了问题，整个系统直接停转。
第二个经验是自动标注器的质量要持续监控，不要把它的准确率当成一次性的结论。任务分布变化之后，标注器的准确率会悄悄下滑，最好在每轮自动标注流程里混入一小批已知标签的校验集，实时估计标注准确率，低于阈值就停线检修。
第三个经验是一定要保留从原始轨迹到最终训练样本的完整链路日志。自改进系统出了奇怪问题时，没有这条链路日志，就别想定位问题。我们在第三个翻车案例上之所以能快速定位，就是因为保留了每一帧的全局时间戳。
这套系统的价值在于，它把“模型进化”从一个研究口号变成了一个可持续运转的工程方法论。往后走，交互数据的质量门槛、自动标注的可信度、以及多轮更新的稳定性，都还有大量可以深挖的空间。对我个人来说，做自改进具身基座模型收获最大的不是某个指标破了纪录，而是真正理解了“让系统自己变好”这件事，在工程上需要付出什么样的努力。
