上篇聊了逆强化学习，从行为中推断奖励函数。现在我们来看一个更前沿的方向：VLA（Vision-Language-Action）模型。这是2023年以来机器人领域最热的研究方向之一，Google、NVIDIA、各大高校都在投入。
VLA的核心思想是：把视觉感知、语言理解和动作生成统一在一个大模型中。输入是相机看到的画面和人类的语言指令，输出是机器人的动作。这跟GPT处理文本的思路类似——把一切都变成token序列，用Transformer来建模。
为什么需要VLA
传统的机器人系统是分模块的：视觉模块识别物体，语言模块理解指令，规划模块生成路径，控制模块执行动作。每个模块独立开发、独立训练，通过接口串联起来。
这种模块化方案的问题在于误差会层层累积。视觉模块识别错了，后面所有模块都跟着错。而且模块之间的接口设计很费精力——每个新任务可能都要重新调整接口。
VLA的思路是端到端：一个大模型直接从像素和语言映射到动作。不需要显式的模块划分，模型自己学习内部的表示。好处是避免了误差累积，坏处是需要大量的训练数据。
RT系列：从RT-1到RT-2
RT-1（Robotics Transformer 1，2022）是Google的第一个VLA模型。它的架构是这样的：用EfficientNet处理相机图像，得到视觉特征；把视觉特征和语言指令（用BERT编码）拼接起来，输入一个Transformer。Transformer的输出是离散化的动作token。
动作离散化是关键设计。把连续的关节角度分成若干个bin（比如256个），每个bin对应一个token。这样动作预测就变成了分类问题——跟语言模型预测下一个词一样。RT-1在超过10万条真实机器人操作轨迹上训练，能执行多种操作任务（抓杯子、放盘子、开门等）。这些数据来自多台机器人、多个任务、多个操作者的示范。数据量之大是前所未有的——之前的机器人学习工作通常只用几千条轨迹。RT-1证明了"大数据+大模型"的路线在机器人领域同样有效。
RT-1的一个关键发现是：模型规模越大，性能越好。从2400万参数到55亿参数，操作成功率持续提升。这跟NLP领域的scaling law类似——更多的参数和更多的数据带来更好的性能。但机器人数据的收集成本远高于文本数据，这限制了模型规模的进一步提升。
RT-2（2023）更进一步。它直接用一个预训练的视觉-语言模型（PaLM-E或PaLI-X）作为backbone，只加了一个动作输出头。这样做的好处是利用了大模型在海量文本和图像上学到的世界知识。比如模型已经知道"苹果是圆的、可以抓握"，不需要从机器人数据中重新学习这些物理常识。RT-2展示了一些令人印象深刻的泛化能力——比如它能理解"把恐龙玩具放到车里"这样的指令，即使训练时没见过"恐龙"和"车"的组合。这种组合泛化能力是传统方法很难做到的。
RT-2还有一个有趣的发现：VLA模型可以继承VLM（视觉-语言模型）的常识推理能力。比如你告诉RT-2"清理桌上的垃圾"，它能识别出哪些东西是垃圾（纸团、空瓶子），哪些不是（笔记本电脑、水杯）。这种能力不是从机器人操作数据中学到的，而是从预训练VLM中继承的。
# VLA模型的基本流程 # 1. 视觉编码: img_tokens = VisionEncoder(camera_image) # 2. 语言编码: lang_tokens = LanguageEncoder(instruction) # 3. 拼接: input_tokens = [lang_tokens, img_tokens] # 4. Transformer处理: features = Transformer(input_tokens) # 5. 动作预测: action = ActionHead(features) # 动作离散化为token，用交叉熵loss训练Octo和OpenVLA：开源的VLA模型
RT系列是Google的内部工作，模型和数据都没有完全开源。Octo（2024）和OpenVLA填补了这个空白。
Octo是一个通用机器人策略模型，在多个公开数据集（Open X-Embodiment）上联合训练。它的设计目标是跨机器人泛化——在一种机器人上训练的策略，能迁移到另一种机器人上。Octo用Transformer作为backbone，输入是图像和语言指令，输出是动作。它在13种不同的机器人上测试，展示了不错的泛化能力。
OpenVLA是斯坦福和UC Berkeley联合发布的开源VLA模型。它基于Llama-2语言模型，用LoRA微调来适配机器人动作输出。LoRA的好处是只需要微调很少的参数（原始模型的1%左右），大大降低了微调的计算成本。OpenVLA在Open X-Embodiment数据集上训练，代码和模型权重都开源了。如果你想在自己的机器人上实验VLA，OpenVLA是一个很好的起点。
除了Octo和OpenVLA，还有一些值得关注的开源VLA项目。π0（Physical Intelligence, 2024）是一个基础模型，专注于通用机器人操作。它用flow matching来生成连续动作，比离散化token的方式更精确。CogACT（2024）用认知科学的思路来设计VLA架构，强调了注意力机制在视觉-动作转换中的核心作用。
VLA在机器人中的应用前景
VLA模型在机器人中有几个潜在的应用方向。
通用操作是最直接的目标。一个训练好的VLA模型能执行多种操作任务，不需要为每个任务单独训练策略。这对工业机器人的柔性制造很有价值——同一条产线，换一种产品只需要换一条语言指令。
语言交互让机器人更容易被非专业人员使用。你不需要写代码或者手动编程，直接用自然语言告诉机器人做什么。这对服务机器人（家庭、医院、仓库）特别重要。
泛化能力是VLA最大的卖点。利用预训练大模型的世界知识，VLA能处理训练时没见过的物体和指令组合。虽然目前的泛化能力还远不够可靠，但方向是对的。想象一下，未来的家用机器人能理解"把客厅收拾一下"这样的模糊指令，自己判断哪些东西该放哪里。这在以前是不可想象的。
数据收集是VLA面临的最大挑战之一。跟文本和图像数据不同，机器人操作数据需要人工示范，成本极高。目前的解决方案包括：遥操作（人用操纵杆控制机器人收集数据）、视频学习（从人类操作视频中提取训练信号）、以及仿真数据生成。其中遥操作是最成熟的方式，但效率很低——一个操作者一小时可能只能收集几十条轨迹。如何提高数据收集效率，是VLA能否大规模应用的关键瓶颈。
面试要点
VLA和传统模块化方案的对比。VLA端到端，避免了误差累积，但需要大量数据。模块化方案每个模块可以独立优化和调试，但接口设计复杂。实际项目中，很多团队采用混合方案——用VLA做高层决策，用传统控制做底层执行。
VLA的局限性。目前的VLA模型推理速度慢（大Transformer的延迟），不适合高频控制。RT-2的推理延迟在100ms左右，对于需要10Hz以上控制频率的任务来说太慢了。训练数据需求大，收集机器人操作数据的成本很高——一条操作轨迹可能需要几分钟到几十分钟的人工示范。泛化能力虽然比传统方法好，但在工业级可靠性要求下（99.9%以上的成功率）还有很大差距。目前VLA更适合做高层决策（选择抓哪个物体），底层控制还是得靠传统方法。
另一个问题是可解释性和安全性。VLA是一个黑盒模型，你不知道它为什么决定执行某个动作。在工业场景中，这种不可解释性是一个很大的障碍——如果机器人做了一个危险动作，你需要能回溯原因。目前的研究方向包括：用注意力可视化来理解模型的决策过程，加入安全约束层来过滤危险动作等。
VLA的技术栈。做VLA需要同时懂视觉（CNN/ViT）、语言（Transformer/LLM）和控制（RL/运动学）。面试时能展示跨领域的知识储备，会很有竞争力。
给你的建议
VLA是机器人AI的前沿方向，值得投入时间了解。建议先读RT-1和RT-2的论文，理解VLA的基本架构。然后跑一下OpenVLA的开源代码，在自己的数据集上微调一个模型。
不需要从零开始训练VLA——计算成本太高。重点理解它的架构设计和训练流程，思考怎么把它应用到你的具体项目中。面试时能聊VLA的发展趋势和挑战，会展示你对前沿技术的关注。
上一篇：第308篇 逆强化学习——从行为中推断目标
下一篇预告：第310篇 Sim2Real——从仿真到真实
