语言条件策略与仿真到真实迁移：构建长期运行的持久机器人程序-平芜编程栈

在仿真里训练得好好的机器人策略，一搬到真实设备上就常常“断崖式失效”。如果再加入自然语言指令，问题复杂度还会再上一个台阶：同一句话放在不同场景里语义可能完全不一样，同一个策略在长时间运行时也可能遭遇指令漂移、模型退化、实体状态偏移。最近看到论题很长的这类研究标题：SUN: Persistent Programs For Language-Grounded Control-to-Learning-to-Real Policies。这篇技术拆解就来解决阅读这类标题的困惑，并把背后涉及的语言条件策略、仿真到真实迁移、长期运行的策略程序这几个关键问题串起来，最后落到一个不带机器人硬件也能跑的最小实验框架上，帮助你把论文思路转成自己的工程直觉。

1. 标题拆解：SUN 到底在解决什么问题

1.1 从标题后半段读研究意图

先不纠结“SUN”这个代号，因为从公开标题本身，很难确定它是一个方法名、系统名还是项目代号。更值得关注的是标题后半段的限制性描述：

Persistent Programs：持久化程序；
Language-Grounded：基于语言的、以自然语言为媒介的；
Control-to-Learning-to-Real Policies：从经典控制到学习型策略，再到真实环境部署的一条策略链路。

把三个关键词拼起来，研究方向就比较清楚了：用自然语言作为任务接口，把底层控制、中间学习、最终真实部署三个阶段串成一个长时间运行的系统。它不是只做一个“识别指令然后动一下”的玩具，而是希望形成一种能够持续处理语言任务、不断适应新环境、并且最终能稳定运行在真实机器人上的策略程序。

1.2 Language-Grounded Policies：语言不只是“前端外壳”

很多人以为语言条件策略就是在算法前面加一个语音识别或者文本分类器，用户说一句“帮我拿杯子”，模型输出一个动作。本质上这是把语言当成一个简单的开关。但真正做机器人学习的人会强调 Language-Grounded 意味着语言要“沉”到决策过程的多个环节。

首先要做到任务抽象。自然语言指令往往天然带有层级和意图，例如“把红色杯子放到托盘上”背后包含目标识别、抓取、移动、放置四层子问题。策略程序不能只输出一个动作，而应该把语言描述转换成结构化的任务目标。

其次，语言还应该参与奖励信号构建。传统强化学习需要精心设计奖励函数，比如距离目标越近奖励越高。而有了语言之后，可以用语言模型或人类反馈来判断“这一步是否符合当前指令”，把稀疏的物理奖励替换成更丰富的自然语言信号，降低奖励工程的工作量。

最后，语言也承担解释和反馈功能。长时间运行的机器人不可能一路盲跑，它需要定期输出“当前完成了什么、为什么停下、下一步计划是什么”。用自然语言记录这些中间状态，既方便调试，也方便后续让人类为失败样例做标注。

1.3 Control-to-Learning-to-Real Policies：三层链路不是简单的先后执行

只看字面，Control-to-Learning-to-Real 容易理解成一条流水线：先做控制，再学策略，最后装到真实机器人上。但实际研究里，三层之间是相互约束和互相反馈的。

Control 层往往先给出一套可解释的基础控制器，比如 PID、MPC 或者运动规划算法。它的价值是提供一个“可信但不完美”的初始策略，用于收集初期数据，或者为后续强化学习提供低层安全约束。
Learning 层在 Control 基础上训练更复杂、更鲁棒的策略，因为很多任务很难用人工设计的控制器直接完成，比如视觉抓取、动态避障。学习型策略可以把语言、图像、力觉等模态融进来。
Real 层面对的是真实部署问题。学习出来的策略必须通过仿真到真实迁移技术落到实际机械臂或移动机器人上，还要对抗噪声、延迟、磨损、环境结构差异等仿真中没出现过的情况。

难点在于三层链路不是单向的。如果 Real 层发现策略经常被安全模块接管，说明 Learning 层训练时的安全约束不够；如果 Learning 层迟迟不收敛，也许需要在 Control 层提供更多先验演示。因此论文标题里的连字符重点不是箭头，而是“往返迭代”。

1.4 Persistent Programs：为什么要强调“持久化”

机器人任务和大多数互联网服务有一个重要区别：策略必须在真实时间轴里持续存在。打开手机 App 调用一个模型接口，模型推理完毕返回结果，任务就结束了；但机器人不是这样，它接收到的语言指令是连续到来的，任务之间还有依赖关系，比如“先移动到桌子前，再抓取杯子”。早期策略模型往往是一次性函数，输入观测、输出动作，不保留任务进度，这在实际部署时非常被动。

Persistent Programs 要解决的就是这种“有状态、能维持、可切换、能恢复”的长时运行问题。它强调策略程序在多个决策步之间保持上下文，例如记住当前任务目标、当前已经完成了哪个子步骤、历史指令是什么。真正落地时，这种程序通常以常驻服务、状态机或基于语言指令动态生成的子程序形式存在。程序员可以把 Persistent Programs 理解为“一个有自己记忆和状态管理能力的策略服务”，而不是“一个输入输出函数”。

2. 关键技术路线拆解：语言、控制、学习、部署如何协作

2.1 语言模块：不要让指令解析变成唯一的“智能”

在语言条件策略系统里，最先要做的往往是把用户自然语言转成机器可执行的结构化目标。这个模块通常由一个语义解析器完成。

一种最简单的做法是规则解析，优点是快速、可控、便于调试，缺点是只能覆盖预先写好的固定句式。另一种做法是调用预训练语言模型直接输出任务规划，更灵活，但容易出现幻觉，例如要求生成机器人没有能力的动作。

工程上比较稳妥的方式是“有限原语 + 参数抽取”。先定义一组当前机器人能够执行的 Primitive，例如 reach（移动到位）、push（推动）、grasp（抓取）、avoid（避障）。语言解析模块只负责从自然语言中判断应该调用哪个原语以及原语参数，比如目标坐标或目标物体名称。

# 文件路径：sun_policy_lab/language/parser.py def _extract_coord(text: str): start = text.find("(") end = text.find(")") if start == -1 or end == -1: return None parts = text[start + 1: end].split(",") return float(parts[0].strip()), float(parts[1].strip()) def parse_instruction(text: str): """将自然语言指令解析为策略可执行的结构化目标。""" lowered = text.lower().strip() if "reach" in lowered: return {"primitive": "reach", "goal": _extract_coord(lowered)} if "avoid" in lowered: return {"primitive": "avoid", "goal": _extract_coord(lowered)} if "stop" in lowered: return {"primitive": "stop", "goal": None} raise ValueError(f"无法解析指令: {text}")

这个示例里_extract_coord会把文本中的(0.6, 0.6)提取成浮点坐标。真实系统里，目标物体位置通常由视觉目标检测模块提供，而不是从文本坐标里硬解析。不过先保留这个简化逻辑，后面主循环可以依赖它跑通全流程。

2.2 控制层：手工控制器给学习算法“兜底”

部分研究者会担心，既然是深度学习驱动的机器人策略，为什么还要引入经典控制？原因很简单：策略网络刚出生时什么都不会，如果直接从随机动作开始探索，既危险又低效。手工控制器虽然不够聪明，但至少能把机器人从 A 点移动到 B 点、能保证速度不超限，这就给了学习算法一个不错的起点。

控制层在整体架构中应该是一种“干涉”而不是“替代”。具体实现时可以设计安全过滤模块，所有策略输出的动作都必须经过安全壳过滤之后才能发送给真实执行器。安全壳的作用是限制最大速度、限制加速度变化率、拒绝超出关节限位的动作。

# 文件路径：sun_policy_lab/control/safety_shell.py import numpy as np class SafetyShell: def __init__(self, max_speed=0.5, max_acc=2.0, dt=0.1): self.max_speed = max_speed self.max_acc = max_acc self.dt = dt self.last_action = np.zeros(2, dtype=np.float64) def filter(self, raw_action: np.ndarray) -> np.ndarray: """将策略输出的原始动作转换为安全动作。""" action = np.array(raw_action, dtype=np.float64).reshape(-1) if action.shape[0] != 2: raise ValueError("此示例仅支持二维动作") # 限制最大合成速度 speed = np.linalg.norm(action) if speed > self.max_speed: action = action / speed * self.max_speed # 限制加速度变化率 delta = action - self.last_action delta_speed = np.linalg.norm(delta) max_delta = self.max_acc * self.dt if delta_speed > max_delta: delta = delta / delta_speed * max_delta action = self.last_action + delta self.last_action = action return action

这段代码不依赖任何深度学习框架，只要会 NumPy 就能运行。它代表的是 Control 层在策略系统中的作用：无论上层模型有多新奇，最终动作都不能突破安全边界。

2.3 学习层：如何把语言和观测融合到策略网络里

学习层要解决的问题是：给定当前机器人观测和当前语言指令，输出一个动作分布或确定性动作。最经典的结构是双编码器融合网络，即一个模块编码语言，另一个模块编码机器人或视觉观测，然后把两个向量拼接到一起，最后通过多层感知机输出动作。

用 PyTorch 表示，一个最简单的语言条件策略网络长这样：

# 文件路径：sun_policy_lab/policy/network.py import torch import torch.nn as nn class LanguageConditionedPolicy(nn.Module): """ 语言条件策略网络。 text_vec 是语言指令经过编码后的向量， obs_vec 是机器人观测向量， 输出是动作空间中的一个连续动作。 """ def __init__(self, text_dim, obs_dim, action_dim, hidden_dim=128): super().__init__() self.fc_fusion = nn.Linear(text_dim + obs_dim, hidden_dim) self.fc_action = nn.Linear(hidden_dim, action_dim) def forward(self, text_vec, obs_vec): x = torch.cat([text_vec, obs_vec], dim=-1) x = torch.relu(self.fc_fusion(x)) action = torch.tanh(self.fc_action(x)) return action

torch.cat是最常见的早期融合方式。更复杂的做法是通过 transformer 对语言 token 和视觉 token 做交叉注意力，但核心思想相同：让决策网络同时看到“我要做什么”和“我现在看到什么”。训练算法通常可以使用 PPO、SAC 等强化学习算法，或通过专家演示做行为克隆。需要注意，强化学习训练时如果只在单一仿真环境里跑，策略很容易过拟合到仿真器的物理参数上，所以通常会配合域随机化一起使用。

实际项目中，text_vec 可以由语言模型生成。为了工程稳定，不一定每次都调用超大模型，可以结合当前原语白名单做约束。文本编码器输出的是向量，而不是直接让模型生成命令字符串，这样可以避免后续解析出错。

2.4 真实层：仿真到真实迁移的经典手段

从 Learning 走到 Real，本质是处理“分布不一致”问题。仿真环境里的相机图像更干净、物理参数更确定、摩擦力模型更理想，真实环境则完全相反。常见的应对方案包括域随机化、系统辨识、在线自适应。

域随机化在训练阶段不断扰动仿真器参数，例如改变物体的质量、摩擦力、光照、相机噪声，让策略见过足够多变化。系统辨识则是先在真实设备上做标定实验，把真实物理参数测出来，再尽量让仿真环境贴近真实。在线自适应则强调在部署阶段继续更新网络的一部分参数，常见做法是让策略网络包含一个可以快速调整的适配模块。

但真实部署还有一个容易忽略的点：推理延迟。仿真训练时模型输出步长可以被认为瞬时完成，真实机器人控制需要实时性。如果策略网络太大，推理时间超过控制周期，整个系统就会抖动。所以工程上经常把大语言模型和高频策略解耦，语言模型负责低频的任务规划，高频控制则由小而快的策略网络完成。

3. 最小可运行框架：语言条件持久策略程序

3.1 搭建目标与运行预期

为了真正理解上述概念，我建议在纯 CPU 环境下搭建一个小型实验框架。场景假设我们有一个二维平面上的移动小车，它通过指令队列接收自然语言任务，并在几百个时间步内持续执行新任务。最理想的运行效果是：程序启动后，小车自动解析第一条指令，朝目标点移动，到达后再处理下一条指令，中途不会崩溃，并且每一条动作都经过安全壳校验。

要说明的是，这个 Demo 的最终目的是验证链路，而不是复现某篇论文。你可以把这里的简单规则策略换成前面定义的深度学习策略网络，把二维小车换成 Gym 环境，本质逻辑是一样的。

3.2 项目目录结构

建议创建如下目录：

sun_policy_lab/ ├── __init__.py ├── language/ │ ├── __init__.py │ └── parser.py ├── policy/ │ ├── __init__.py │ └── network.py ├── control/ │ ├── __init__.py │ └── safety_shell.py ├── requirements.txt └── main.py

language放指令理解模块，policy放可替换的网络策略，control放底层控制和安全过滤模块，main.py是主循环入口。在每个子目录都加入__init__.py可以保证后续使用from language.parser import parse_instruction时不会出现包导入问题。

3.3 主循环：一个持续接收语言指令的程序

main.py是整个代码示例里关键的部分，负责把指令解析、策略推理、安全过滤、状态更新串在一起。为了让演示在无硬件情况下也能完成闭环，我使用一条简单的比例控制规则代替真实强化学习策略：越靠近目标点，移动速度越慢，避免震荡。

# 文件路径：sun_policy_lab/main.py import numpy as np from language.parser import parse_instruction from control.safety_shell import SafetyShell def main(): pos = np.array([0.0, 0.0]) safety = SafetyShell(max_speed=0.4, max_acc=1.0, dt=0.1) instruction_queue = [ "reach target point at (1.0, 0.5)", "reach target point at (-0.3, 0.8)", "stop", ] current_task = None for step in range(200): # 如果当前没有任务，就从持久指令队列里取新指令 if current_task is None: if not instruction_queue: break raw_text = instruction_queue.pop(0) current_task = parse_instruction(raw_text) print(f"[task] receive: {raw_text}") primitive = current_task["primitive"] goal = current_task["goal"] if primitive == "stop": raw_action = np.zeros(2) next_goal_distance = 0.0 elif primitive == "reach": goal_vec = np.array(goal, dtype=np.float64) - pos dist = np.linalg.norm(goal_vec) if dist > 1e-6: # 方向始终指向目标点，速度与距离成正比 raw_action = goal_vec / dist * min(0.3, dist * 0.8) else: raw_action = np.zeros(2) next_goal_distance = dist else: raise ValueError(f"未实现的原语类型: {primitive}") action = safety.filter(raw_action) pos = pos + action * safety.dt print( f"step={step:3d} primitive={primitive:5s} " f"pos=({pos[0]:.3f},{pos[1]:.3f}) " f"action=({action[0]:.3f},{action[1]:.3f}) " f"distance={next_goal_distance:.3f}" ) # 任务完成条件：到达目标点，或执行了 stop if primitive == "reach" and next_goal_distance < 0.05: print("[task] reach done, switch to next task") current_task = None elif primitive == "stop": print("[task] stop done, switch to next task") current_task = None if __name__ == "__main__": main()

把parser.py、policy/network.py、safety_shell.py和main.py放在对应目录后，运行：

cd sun_policy_lab python main.py

预期会看到类似下面的输出流：

[task] receive: reach target point at (1.0, 0.5) step= 0 primitive=reach pos=(0.029,0.015) action=(0.286,0.143) distance=1.118 step= 1 primitive=reach pos=(0.057,0.029) action=(0.280,0.140) distance=1.049 ... [task] reach done, switch to next task [task] receive: reach target point at (-0.3, 0.8) ...

输出格式是刻意保持结构化的。真实系统运行过程中，每一行日志都应该能被采集起来，用于判断策略是否发生了偏离、安全壳是否频繁接管、任务是否在合理步数内完成。

这个主循环没有依赖 Gym 或者 MuJoCo，原因只有一个：方便读者直接复制运行并验证逻辑。如果你要接近论文的实验，可以在primitive == "reach"分支里调用 Gym 环境获取 obs，然后调用LanguageConditionedPolicy网络输出动作，最后再经过SafetyShell过滤。整体架构完全不需要变。

3.4 在 Demo 中加入模型与程序状态

上面的主循环虽然可以运行，但还缺少“恢复”能力。真实系统常会遇到程序崩溃、手柄断电、网络超时等情况，重启以后如果当前任务信息丢失，机器人就可能不记得自己要干什么。这时需要把任务状态持久化到磁盘或远程状态服务里。可以定义一个简单的状态保存函数：

# 文件路径：sun_policy_lab/main_state_example.py import json import os def save_task_state(path, task_id, step, pos, primitive): state = { "task_id": task_id, "step": step, "pos": list(pos), "primitive": primitive, } with open(path, "w", encoding="utf-8") as f: json.dump(state, f, ensure_ascii=False, indent=2) def load_task_state(path): if not os.path.exists(path): return None with open(path, "r", encoding="utf-8") as f: return json.load(f)

这个函数体现的是 Persistent Programs 中“状态可恢复”的思想。Persistent 并不是指代码进程不能关，而是指系统能够从外部存储恢复自己的执行进度，从而在意外中断后继续执行剩下的任务，而不是从零开始。

4. 从最小 Demo 到真实部署还需要补什么

4.1 从规则解析升级为语言模型对齐

最小 Demo 使用规则解析，目的只是讲清楚链路。真实系统中，用户的指令不可能总是规规矩矩地符合模板。这时可以用预训练语言模型做语义理解，但不要直接让模型返回字符串然后执行。

工程上更推荐让语言模型返回结构化的 JSON，并在代码里对可选原语做白名单校验。如果模型输出的原语不在白名单内，或者置信度低于阈值，系统应当拒绝执行并请求用户澄清，而不是硬启动一个不存在的技能。

另一个值得关注的问题是语言指令与机器人能力的对齐。人类很容易说“把苹果切开”，但如果机械臂只有夹爪而没有刀具，这个指令就超出能力边界。语言模型不是不能输出“切开”这个动作，而是系统需要增加一层能力过滤，确保自然语言描述在机器人当前技能库中有对应实现。否则长期运行中一定会遇到大量无法执行的指令，影响用户体验和系统稳定性。

4.2 仿真到真实迁移中的“安全接管”设计

在 2.2 节的安全壳里，我使用了限速和限加速度两层约束。真实系统还应该加入关节限位、碰撞检测、急停逻辑等。一个重要设计原则是：安全壳永远不能被上层策略绕过。无论语言模型解析出的任务是什么，无论策略网络输出的动作有多少置信度，真正下发到执行器之前必须经过安全过滤。遇到安全模块频繁接管的情况，应该记录一条安全事件日志，而不是把问题掩盖掉。

安全接管不仅保护设备，也能为训练提供数据。如果能记录下“模型输出动作不安全、安全壳如何修正动作”这些信息，就可以构建一个安全约束数据集，用这些数据去微调策略网络，让安全模块的修正逐渐减少。

4.3 数据闭环：真实反馈回流训练

一个更完整的持久策略系统应当具备数据回流能力。机器人在真实环境执行任务时，可以把图像、状态、动作、语言指令一起记录下来。人类专家每隔一段时间对历史轨迹进行评估，判断哪些执行成功、哪些失败、失败原因是什么。这些带语言标注的数据既可以用来事后分析，也可以送入强化学习训练流程继续优化策略。

数据回流是 Long-running 系统最有价值的能力。策略模型不可能永远停留在部署那天，它需要在真实反馈中持续更新。更新策略模型后也不要马上全量替换，可以先小流量测试，观察指标是否下降，再逐步扩展。

5. 常见问题与排查思路

问题现象	常见原因	解决思路
语言模型输出了机器人无法执行的动作	缺少能力白名单或原语约束	增加动作原语白名单，模型输出必须映射到白名单内
仿真训练效果好，真实环境表现差	仿真器物理参数和真实差异大	使用域随机化，增加相机噪声和物理扰动，必要时做系统辨识
距离目标点很近时小车来回震荡	比例控制增益过高	降低增益系数，加入死区，或者改用更平滑的速度曲线
安全壳频繁修正动作	策略动作幅度过大	检查奖励函数是否有动作惩罚，或在训练时加入动作范围约束
长时间运行后策略性能明显下降	环境漂移或设备磨损	持续记录真实数据，定期用最新数据评估与微调模型
主程序崩溃后丢失当前任务进度	没有任务状态持久化	把任务目标、当前步骤、机器人姿态定期保存到磁盘或配置中心
同一句指令在不同场景执行结果不一致	语言理解缺少上下文	保留任务上下文缓存，不只解析单条指令
推理速度太慢导致控制周期超时	大模型直接参与高频控制	将低频规划与大模型解耦，高频控制使用轻量策略模型