1. 从“指令”到“行动”：大语言模型如何重塑机器人任务规划
过去一年，机器人领域最令人兴奋的进展之一，莫过于大语言模型（LLMs）从纯粹的文本生成工具，转变为了机器人理解世界、规划任务的“大脑”。这听起来有点科幻，但背后的逻辑其实很直接：我们人类用语言描述任务，而LLMs恰好是理解和生成语言的专家。当机器人能“听懂”我们日常的、模糊的指令，并自主拆解成可执行的步骤时，人机协作的门槛就被极大地降低了。
传统的机器人编程或示教方式，要求指令必须精确、结构化。比如，你得明确告诉机器人：“向前移动0.5米，右转90度，伸出机械臂至坐标（x， y， z），闭合夹爪。”任何一个参数错误或步骤缺失，都可能导致任务失败。而LLMs带来的变革是，你现在可以对机器人说：“帮我把洒在地上的牛奶清理一下。”机器人需要自己理解“清理”这个抽象目标，并规划出“寻找抹布”、“移动到洒落位置”、“拾取抹布”、“擦拭地面”等一系列子任务。这其中的核心挑战，是如何将LLMs蕴含的丰富语义知识和常识，与机器人物理世界的具体行动能力“对齐”。
谷歌团队在2022年提出的PaLM-SayCan框架，就是这个思路的典型代表。在这个框架中，LLM（如PaLM）扮演“战略大脑”的角色，负责理解指令、推理任务步骤、输出高级动作序列（例如：“1. 找到海绵， 2. 拿起海绵， 3. 移动到水槽， 4. 冲洗海绵， 5. 返回洒落处， 6. 擦拭”）。而机器人本体则配备一个“可供性模型”，这个模型可以理解为机器人的“技能手册”，它评估在当前具体的物理状态下（如面前有一个海绵，夹爪是空的），执行“拿起海绵”这个动作的成功概率有多高。
LLM负责提出“做什么”（What），可供性模型则判断“在当前情况下能不能做，以及怎么做最好”（How）。两者结合，LLM生成的动作序列会被可供性模型逐一打分和筛选，只保留那些在当前环境下可行性高的动作，最终形成可安全执行的计划。这就好比一个经验丰富的项目经理（LLM）制定了一个完美的项目计划，但需要一线工程师（可供性模型）根据现场的设备、人员情况来确认每一步是否真的能落地。
1.1 闭环与纠错：让机器人拥有“内心独白”
然而，计划赶不上变化，尤其是在动态的真实世界中。机器人执行“拿起海绵”时，可能因为视觉误差抓空了，或者海绵被其他物品压住了。最初的PaLM-SayCan是开环的，一旦计划开始执行，机器人就会机械地走完流程，即使中间步骤失败了也不会调整。这显然不够智能。
于是，Inner Monologue（内心独白）机制被引入，形成了关键的闭环。这个机制让机器人具备了“自我监控”和“实时调整”的能力。具体来说，机器人在执行每一步时，都会通过传感器（如摄像头、力传感器）获取实时反馈，例如“夹爪已闭合，但未检测到物体重量”（抓取失败）。这个失败信息会被反馈给LLM。
LLM在接收到这个“内心独白”后，会重新进行推理：“步骤‘拿起海绵’失败了。可能的原因有：海绵位置识别错误、夹爪路径被阻挡、目标被移走。根据当前场景（视觉反馈显示海绵仍在原处），最可能的原因是抓取位姿不准。因此，调整计划：先轻微调整机械臂位姿，再次尝试抓取；若连续失败，则尝试寻找替代工具（如抹布）。”
通过这种闭环交互，机器人不仅能从失败中恢复，还能在任务执行中响应用户的实时指令变更。比如，当机器人正要去拿海绵时，你突然说：“等等，先用厨房纸巾吧，海绵太脏了。”LLM能立即理解这个中断和新的上下文，并重新规划任务序列。这种交互的流畅性，是迈向实用化人机协作的关键一步。
注意：实现有效的“内心独白”高度依赖于高质量的感知反馈和状态描述。将复杂的传感器数据（如图像点云）转化为LLM能理解的、简洁准确的文本描述，本身就是一个重要的研究课题，通常需要借助视觉语言模型（VLMs）来完成。
1.2 代码即策略：另一种灵活的任务规约方式
除了将自然语言指令映射为动作序列，另一个有趣的探索方向是让LLM直接生成控制机器人的代码。这就是Code as Policies（代码即策略）的思路。其核心思想是，将机器人的感知和执行能力封装成一系列API函数（例如，move_to(object),grasp(),scan_shelf()），然后让LLM根据自然语言指令，编写一段调用这些API的Python代码。
例如，用户指令“把可乐放进顶层抽屉”。LLM可能会生成如下伪代码：
# 寻找可乐罐 coke_can = find_object(“coke can”) if coke_can: # 移动到可乐罐附近 move_to(coke_can) # 抓取可乐罐 grasp() # 寻找顶层抽屉 top_drawer = find_object(“top drawer”) if top_drawer: # 移动到抽屉前 move_to(top_drawer) # 打开抽屉（假设有开抽屉的API） open_drawer() # 将可乐放入 place_inside() # 关闭抽屉 close_drawer() else: say(“未找到顶层抽屉。”) else: say(“未找到可乐罐。”)这种方法的优势在于极其灵活。生成的代码可以包含条件判断、循环、错误处理等复杂逻辑结构，并能直接调用第三方库来实现更复杂的功能（如数值计算、路径规划）。它本质上是将任务规划问题转化为了程序合成问题，利用了LLM在代码生成方面的强大能力。然而，其挑战也同样明显：生成的代码必须绝对安全，不能有死循环或危险操作；并且，如何确保代码能正确调用底层的、不确定的物理执行API，也是一个需要精心设计的问题。
2. 规模化数据驱动：破解机器人技能学习的“莫拉维克悖论”
汉斯·莫拉维克曾提出一个著名的悖论：让计算机在智力测试或象棋比赛中达到成人水平是相对容易的，但要让其具备一岁婴儿的感知和运动能力却异常困难。这就是“莫拉维克悖论”，它深刻揭示了机器人技能学习的难点：高级推理可以依赖符号和逻辑，而低级的传感器运动技能则需要通过海量的、与物理世界交互的数据来习得。
近年来，NLP和CV领域的成功已经证明，基于Transformer的大模型在规模化数据的驱动下，能展现出惊人的泛化能力。机器人学界自然开始思考：能否将机器人低层技能（如抓取、放置、推动）的学习，也变成一个“规模化数据问题”？谷歌的RT-1（Robotics Transformer-1）项目正是这一思路下的里程碑式探索。
RT-1是一个端到端的视觉-语言-动作模型，其架构借鉴了Transformer的成功经验。它接收当前时刻的图像观察和自然语言指令（如“把苹果放到盘子里”），直接输出机器人关节或末端执行器的动作指令。这个模型在一个超大规模的真实机器人数据集上进行了训练：该数据集包含了13台 Everyday Robots 机器人在办公室厨房环境中执行任务记录的13万个任务片段，涵盖了超过700项不同的日常操作任务。
2.1 RT-1的核心发现：规模与多样性带来泛化
RT-1实验最关键的结论，验证了数据驱动方法在机器人领域的有效性：模型性能（成功率和泛化能力）随着训练数据规模和多样性的增加而显著提升。这里的多样性包括：
- 任务多样性：学习数百种不同的任务，而非单一技能。
- 场景多样性：在不同布局的厨房、不同的光照和桌面杂乱程度下操作。
- 物体多样性：操作成千上万种不同的日常物品，包括从未在训练集中出现过的、新形状、新材质的物体。
经过大规模数据训练后，RT-1展现出了强大的零样本泛化能力。例如，一个训练时只学过“拿起马克杯”、“拿起玩具块”的模型，在面对一个从未见过的、形状奇特的调味瓶时，依然能成功完成“拿起调味瓶”的指令。这是因为模型并没有死记硬背每个物体的具体抓取点位，而是从海量数据中学习到了更本质的“抓取”概念，以及如何根据物体的视觉特征（形状、大小、姿态）来生成合适的抓取动作。
实操心得：构建高质量、大规模的机器人数据集是极其昂贵和耗时的。RT-1的数据集来自多台机器人长达数月的日常数据收集。对于大多数研究团队而言，一个可行的路径是“仿真+真实”结合。先在高度随机化的仿真环境中（如使用Isaac Gym或MuJoCo）进行大规模预训练，让模型学习基本的物理交互直觉，然后再用少量、高质量的真实世界数据进行微调（Sim-to-Real）。这能大幅降低数据收集成本。
2.2 高效Transformer与实时控制：Performer-MPC
将Transformer应用于机器人控制，另一个不可回避的挑战是实时性。标准的Transformer模型在长序列处理时，其注意力机制的计算复杂度随序列长度呈平方级增长，这对于需要毫秒级响应的机器人控制来说是难以接受的。
为此，谷歌团队将之前为高效NLP设计的Performer架构引入了机器人领域，并与模型预测控制（MPC）结合，提出了Performer-MPC。MPC是一种先进的控制方法，它通过实时求解一个有限时间内的优化问题来计算当前最优控制指令，能很好地处理机器人的动力学约束和状态约束。
Performer-MPC的创新在于，它用基于Performer的神经网络来学习一个“隐式策略”。这个策略网络能够快速预测出在MPC框架下最优的行为轨迹，从而避免了在线求解复杂优化问题的高计算成本。实验表明，在一项需要机器人在人群中安全导航的任务中，Performer-MPC相比传统MPC，在到达目标率上提升了超过40%，在社交合规性（如与人保持舒适距离）指标上提升了超过65%，同时将决策延迟控制在惊人的8毫秒以内。这证明了经过优化的Transformer架构完全能够满足机器人实时控制对低延迟的严苛要求。
3. 安全、高效与跨形态学习：机器人技能获取的前沿探索
规模化数据是基础，但如何安全、高效、低成本地获取这些数据，并让机器人学会更复杂的技能，仍然是核心挑战。2022年的研究在以下几个方面给出了富有启发性的答案。
3.1 安全学习与自动恢复：让机器人“自学成才”而不闯祸
在真实世界中让机器人通过试错来学习，就像教一个婴儿学走路，首要原则是保证安全。谷歌的安全强化学习框架引入了一个巧妙的双策略切换机制：一个“学习策略”负责积极探索，尝试完成目标任务（如行走）；另一个“安全恢复策略”则像一位监护者，时刻监控机器人的状态（如身体倾斜角度、关节力矩）。一旦“学习策略”可能导致机器人进入不安全状态（如即将摔倒），系统会立即切换到“安全恢复策略”，执行一个预设的安全动作（如调整重心或蹲下），防止损坏。
更进一步的是“终身学习”理念。机器人难免会失败摔倒，如果每次都需要人类研究员去把它扶起来，那数据收集效率就太低了。为此，研究人员专门训练了一个“重置策略”。当机器人跌倒后，这个策略会控制它自己从地上爬起来，恢复到可继续学习的初始状态。这就实现了“自动恢复”，让机器人能够长时间无人干预地自主学习和练习，极大地提升了数据收集的自动化程度和规模。
3.2 从仿真到现实：用i-Sim2Real弥合鸿沟
仿真环境是获取海量训练数据的理想沙盒，它可以并行运行成千上万个实验，且没有物理损坏的风险。但最大的难题是“仿真到现实的鸿沟”：仿真中的物理参数（如摩擦系数、物体质量分布）与真实世界总有差异，导致在仿真中学得很好的策略，一到现实就失效。
i-Sim2Real（迭代式仿真到现实）方法为这个问题提供了一个优雅的解决方案。以学习与人打乒乓球为例：
- 初始阶段：在仿真中，用一个非常简单、近似的人类对手模型来训练机器人策略。
- 首次部署：将训练好的策略部署到真实机器人上，与真人对手对打，并记录真实的人类回球数据。
- 模型更新：用记录的真实数据，来更新仿真中的人类对手模型，使其行为更贴近真人。
- 策略迭代：在更新了对手模型的仿真中，重新训练机器人策略。
- 循环往复：不断重复“仿真训练-现实部署-数据收集-模型更新”这个循环。
通过这种迭代，仿真环境中的“虚拟对手”越来越像“真实对手”，同时在仿真中训练出的机器人策略也就能越来越适应真实的对抗场景。这种方法的核心思想是，不追求一次性构建完美的仿真环境，而是通过现实数据不断迭代修正仿真模型，让仿真和现实在循环中逐渐对齐。
3.3 跨形态模仿学习：从观看人类视频中学习
互联网上有海量的人类执行各种任务的视频，这无疑是一个巨大的知识宝库。但机器人的身体（形态）与人截然不同，如何让一个轮式机械臂机器人通过观看人类用双手做饭的视频来学会操作呢？这就是跨形态模仿学习要解决的问题。
谷歌的“Robot See， Robot Do”研究提出了跨形态逆强化学习方法。它并不要求机器人机械地模仿人类的每一个关节运动（这不可能），而是去理解人类行为的“目的”或“奖励函数”。
具体来说，算法通过分析人类视频，推断出隐藏在行为背后的目标（例如，在炒菜视频中，目标是“将食材均匀加热并混合”）。然后，它将这个推断出的高级目标，转化为机器人自身形态下可追求的奖励函数。机器人再通过强化学习，去寻找能最大化这个奖励函数的行为方式。这样一来，机器人学会的不是“像人一样挥动锅铲”，而是“实现均匀加热和混合”这一目标，它可能会用自己机械臂特有的方式来完成，比如以不同的轨迹和速度进行搅拌。
这项技术的远景非常吸引人：未来机器人或许可以通过观看YouTube上的教学视频，来学习组装家具、修理电器等复杂技能，极大地扩展其技能获取的边界。
4. 数据高效学习与理论进展：让机器人学得更快更好
在追求数据规模的同时，如何让机器人利用更少的数据、更高效地学习，始终是研究的重点。2022年，模仿学习领域取得了显著进展。
BC-Z展示了即使简单的行为克隆方法，在精心设计的数据集下也能实现零样本泛化。其关键在于使用了一个极其多样化的演示数据集，涵盖了同一个任务在各种不同初始条件、物体位置、环境干扰下的完成方式。模型从中学习到的是任务背后的不变性原则，而非固定的动作序列。
GoalsEye算法则结合了“从玩耍中学习”和“目标条件行为克隆”，用于学习高速、高精度的任务（如乒乓球击球）。“从玩耍中学习”阶段，让机器人自由地、无特定目标地交互，收集大量状态-动作对数据，这有助于学习到丰富的、基础的运动技能。在“目标条件行为克隆”阶段，再针对具体的精确目标（如将球击打到某个点）进行微调。这种分阶段、由粗到精的学习范式，比直接学习精确技能要高效得多。
在理论层面，研究也开始更深入地分析模仿学习的样本复杂性。例如，通过动力系统稳定性理论来刻画学习过程的收敛特性；或者强调在演示数据中包含“失败与恢复”片段的重要性。传统的演示数据往往只展示完美的成功路径，但包含如何从常见错误中恢复过来的演示，能让离线学习的模型对错误更具鲁棒性，从而在更小的数据集上获得更好的性能。
5. 开源与社区共建：推动领域发展的关键
回顾2022年，谷歌机器人研究的一个鲜明特点是对开源开放的持续投入。这不仅是将研究成果公之于众，更是为整个社区提供可复现的基准和进一步创新的基石。
- Language-Table 数据集：作为“Talking to Robots in Real Time”项目的一部分，这个数据集是目前最大的语言标注机器人数据集。它包含了机器人执行大量任务时的图像、动作以及对应的自然语言指令，为研究实时、开放词汇的语言可控机器人提供了宝贵资源。
- RT-1 模型与部分数据：开源RT-1的模型架构和部分数据，让其他研究者能够在此基础上进行改进、微调或用于新的研究，加速了大规模视觉-语言-动作策略研究的进程。
- Scanned Objects 数据集：一个包含大量日常家用物品高精度3D扫描模型的数据库。这对于机器人视觉识别、抓取规划、以及仿真环境的物体建模都具有极高价值。
这些开源举措降低了机器人AI研究的门槛，使得更多缺乏庞大机器人硬件集群的学术机构和初创公司，也能在算法和模型层面进行前沿探索。从长远看，构建一个繁荣、协作的开放研究生态，对于解决机器人技术面临的巨大挑战至关重要。
我个人在实际工作中的体会是，机器人学正处在一个从“硬编码”到“数据驱动”、从“孤立自动化”到“情境化智能”的深刻转型期。大模型带来的语义理解能力，与规模化数据驱动的运动技能学习相结合，正在产生奇妙的化学反应。然而，前路依然漫长。如何确保这些复杂系统的安全性与可靠性，如何建立人类对机器行为的信任，如何设计合理的人机交互接口，都是需要产学研各界共同深入探索的课题。2022年的工作为我们勾勒出了一条清晰的路径，而接下来的每一步，都需要我们既怀抱雄心，又脚踏实地地去实现。
