面向具身操作的视觉-语言-动作模型综述：启元Q1的“大脑”进化之路

摘要：视觉-语言-动作（VLA）模型是机器人从“听懂指令”走向“物理执行”的核心大脑。本文以《自动化学报》2026年发表的《面向具身操作的视觉-语言-动作模型综述》为核心蓝本，系统解析了VLA模型的发展历程、架构拆解、数据金字塔、预训练与后训练方法以及模型评估。在此基础之上，本文进一步锚定启元Q1双足人形机器人的生态定位，探讨了VLA技术对启元双板架构、McAction状态机控制以及AtomGit数据飞轮的工程启发，为开发者在启元生态中落地具身大模型提供一份详尽的技术指南。

目录

• 引
• 文献来源
• 一、引言——机器人需要怎样的“大脑”
• • 1.1 传统模块化系统的“割裂感”
  • 1.2 VLA的破局：端到端的闭环
  • 1.3 本文脉络
• 二、VLA的发展历程：从萌芽到爆发
• • 2.1 萌芽阶段：序列化与控制问题
  • 2.2 探索阶段：RT-2与OXE数据集的诞生
  • 2.3 快速发展阶段：分层架构与数据联合训练
• 三、VLA模型架构深度拆解
• • 3.1 观测编码：把世界变成Token
  • • 3.1.1 视觉编码器（ViT vs CNN）
    • 3.1.2 几何信息与触觉编码
  • 3.2 特征推理：骨干网络的选择
  • • 3.2.1 Transformer与DiT
    • 3.2.2 MoE与Mamba
  • 3.3 动作解码：如何生成动作
  • • 3.3.1 动作空间的选择
    • 3.3.2 动作分布的建模（离散 vs 连续）
  • 3.4 分层系统（Hierarchical System）
• 四、训练数据与预训练范式
• • 4.1 数据金字塔
  • 4.2 预训练方法：如何把知识灌入模型
  • 4.3 后训练方法：适应真机环境
• 五、VLA模型评估与产业现状
• • 5.1 评估方法
  • 5.2 产业界现状
• 六、启元生态专属锚定与展望
• • 6.1 启元Q1的双板架构与VLA分层系统的完美呼应
  • 6.2 动作解码与启元SDK接口的真实映射
  • 6.3 状态机保护：VLA的安全兜底
  • 6.4 启动启元的数据飞轮
• 七、总结与展望
• 尾

引

诸位技术同仁：

本系列将系统精读的方式，深入剖析计算机科学顶级期刊/会议论文，聚焦前沿突破的核心机理与工程实现。

通过严谨的学术剖析，解耦研究范式、技术方案及实证方法，揭示创新本质。我们重点关注理论-工程交汇点的技术跃迁，提炼可迁移的方法论锚点，助力诸位的技术实践与复杂问题攻坚，共推领域持续演进。

文献来源

DOI:[10.16383/j.aas.c250394](https://doi.org/10.16383/j.aas.c250394)

自动化学报, 2026, 52(1): 18-51.

已标明出处，如有侵权请联系笔者。

一、引言——机器人需要怎样的“大脑”

1.1 传统模块化系统的“割裂感”

过去几十年，我们造机器人基本都是走传统路子。感知模块用视觉算法识别物体，决策模块根据当前状态确定目标，规划模型根据机械臂与环境状态规划可行路径，最后由控制模型让机械臂动起来。

这种方法确实稳当，且在每个细分领域都有极强的可解释性。但问题是，一旦把机器人放到开放的家庭环境里，让它面对千奇百怪的任务，这就玩不转了。正如论文引言中所指出的：基于逻辑编排的决策模块和基于搜索或优化的规划与控制模块，很难应对开放环境下多样性任务需求以及复杂的交互行为。模块之间的缝隙往往就是“翻车”的地方。

大模型出来之后，很多人觉得救星来了。让大语言模型（LLM）去规划，让视觉模型去感知。但这又带来了一个新毛病：语义理解与物理执行的割裂。大模型主要承担环境理解和行为规划功能，无法理解机器人的执行能力。大模型规划的动作需依赖预编程的下层控制器，导致机器人任务理解与执行出现脱节。

1.2 VLA的破局：端到端的闭环

这篇综述点出了破局的关键——视觉-语言-动作（VLA）模型。

其实说白了，VLA就是把视觉（Vision）、语言（Language）和动作（Action）丢进一个大网络里去联合训练。它打通了从多模态输入到机器人连续控制指令的映射。VLA模型通过结合大模型技术，将视觉感知、语义推理与动作生成深度融合，使机器人能够直接从多模态输入中预测连续控制指令，实现从环境理解到物理执行的闭环耦合。

1.3 本文脉络

本文以《面向具身操作的视觉-语言-动作模型综述》为核心蓝本，系统拆解VLA的发展、架构、数据与训练范式。在此基础之上，本文进一步锚定启元Q1的生态定位，探讨VLA技术如何点燃启元的数据飞轮，以及开发者如何利用启元真实的ROS2接口去落地这些前沿算法。

二、VLA的发展历程：从萌芽到爆发

从图1可以看出，具身操作包含三大核心要素：操作环境、机器人本体和进化算法。VLA模型的预训练是构建机器人本体“基础智能”的核心，而模型评估和后训练则是“进化算法”的关键。

论文把VLA的发展切分成了三个阶段。这三个阶段，其实也反映了学术界和工业界对机器人泛化能力认知的不断深化。

从图2的时间线上，我们可以清晰地看到VLA技术井喷式的演进。

2.1 萌芽阶段：序列化与控制问题

早期的端到端视觉控制策略常采用独热编码（one-hot encoding）实现多任务区分，然而此类方法局限于封闭任务集合，难以适应开放环境。鉴于语言作为人类认知交互的核心媒介，将其引入任务描述可显著增强系统对复杂场景的适应性。

为实现策略对语言语义的理解，涌现了多种技术路径。比如CLIPort，框架采用双通路架构，结合CLIP的语义表征与Transformer网络的空间推理，显著提升语义理解广度与操作精度。

考虑到Transformer是用于处理序列数据的模型，如何将机器人控制问题的输入与输出序列化成为VLA模型的核心问题。早期的代表性工作RT-1使用EfficientNet和语句编码器分别作为图像和语言任务描述的分词器，并使用等分离散化对动作进行分词。这些方法大部分都是从大模型的角度去考虑如何将机器人控制问题转换成序列处理问题，并没有针对机器人的特性进行设计。

此外，大模型输出的令牌（token）通常是离散化的。虽然离散化动作更符合大模型训练模式，但一定程度上限制了机器人的执行精度，每次推理动作的不一致性会导致机器人执行过程的抖动现象。针对这个问题，ACT提出一种动作分块的思路，模型每次推理多个时刻动作，在执行过程中通过加权多个预测动作实现更平滑的运动。

2.2 探索阶段：RT-2与OXE数据集的诞生

2023年7月份左右，VLA模型的概念被首次提出，并且同时推出参数量为550亿的VLA模型RT-2。该模型在真实机器人上展现出优异的泛化能力，推动VLA进入快速发展阶段。

此外，公开且统一的数据基础是VLA模型发展的动力之一。谷歌研究人员整合来自21个不同机构的机器人操作数据，构建包含100多万机器人轨迹的大规模数据集OXE，涵盖22种不同的机器人、527种技能和16万个任务。该工作为机器人学习社区提供了一个协作平台，使得不同机构可以共享数据和资源。

在这一阶段，Transformer成为VLA骨干模型的主流选择。但是对于其权重是否继承自LLM或VLM预训练权重，是一个需要讨论的话题。仅依靠机器人数据从头开始训练的VLA模型很难理解复杂的任务描述和图像中个体之间的空间关系。为减少训练过程中对机器人数据的需求，继承大语言模型或者视觉语言模型权重，并在此基础上使用机器人数据训练成为VLA模型一种常见的选择。例如谷歌DeepMind推出的RT-2继承了PaLM-E的权重，斯坦福大学提出的OpenVLA继承了LLaMA的权重。

2.3 快速发展阶段：分层架构与数据联合训练

从2024年底开始，VLA模型进入快速发展阶段。大家发现VLA在面对新任务时容易过拟合，从而遗忘原先具备的语言理解或多模态对齐能力，引发微调后的大模型面临“虚假遗忘”问题。

为了解决这个问题，一方面，分层架构的VLA模型成为热门选择。这种分层的架构将场景理解与动作执行进行隔离，上层策略（System 2，S2）使用预训练VLM提取环境中的关键信息，实现场景理解并将子任务发送给下层策略；下层策略（System 1，S1）是一个专注于简单任务的小模型，它接收上层指令和机器人本体信息，计算当前所需控制量。

另一方面，从预训练的角度出发，在训练VLA的过程中混入图文数据可以激发预训练VLM潜能，从而提升VLA的视觉泛化能力。这种联合训练过程使用的图文数据有两大类：一类是场景理解数据（如目标检测、图像描述），另一类是推理数据（通过分解任务执行过程构建思维链）。

三、VLA模型架构深度拆解

从图3可以看出，一个完整的VLA模型，可以大致拆成三个部分：观测编码、特征推理和动作解码。这三部分决定了模型“看什么”、“怎么想”和“怎么做”。

3.1 观测编码：把世界变成Token

当VLA模型获得任务语言描述和观测信息时，观测编码的作用是将该信息转换到特征空间中。从图4可以看到，VLA涉及的观测不仅包含RGB/深度图，还包含点云、触觉和力觉。

3.1.1 视觉编码器（ViT vs CNN）

早期工作主要采用基于CNN的架构，如Octo使用简单的CNN、CLIPort使用ResNet-50、RT-1采用EfficientNet-B3。这类CNN结构因其在传统视觉任务中的表现稳定，被迁移到机器人操作任务中。然而随着Vision Transformer（ViT）在图像理解任务中的表现逐渐超过CNN，VLA模型也逐步转向基于ViT的视觉编码器。

结合DINOv2和SigLIP的联合表征逐渐成为一种趋势。相较于传统CNN，ViT模型具备更强的语义理解能力、跨模态对齐能力和更好的泛化性能，使得机器人能够更准确地解析复杂语言指令并据此执行操作。

3.1.2 几何信息与触觉编码

使用单视图或多视图二维模态进行表征会导致模型缺乏空间感知能力，而这一能力在精细操作任务中非常关键。为增强空间感知能力，VLA模型通常会使用多视角图像、深度图或点云获取几何信息。例如SpatialVLA引入Ego3D位置编码机制，将三维空间位置编码信息与利用二维数据编码器提取的二维语义特征相结合，以捕获三维场景信息。

除了视觉表征外，现有研究还尝试将触觉和力/力矩这种交互反馈信号模态引入VLA模型。在精细操作或动态环境中，触觉能够为机器人提供视觉所无法捕捉的物理交互反馈。例如TLA通过在触觉模态上微调Qwen-VL的ViT模块，从触觉图像数据中提取有效的特征。而ForceVLA针对六维力/力矩信号，通过一个简单的线性投影将其编码为力嵌入特征。

3.2 特征推理：骨干网络的选择

在获得不同时刻的观测编码和任务描述编码后，需要设计骨干网络捕获特征之间的相关信息。从图5可以看到，目前主要有Transformer、Mamba、DiT和MoE四大流派。

3.2.1 Transformer与DiT

Transformer被广泛应用于自然语言处理和其他序列数据处理任务中，展现出强大的可扩展能力。RT-2首次将其引入VLA模型中，通过自注意力机制捕捉输入序列中各元素之间的依赖关系。

扩散模型作为一种基于逐步添加噪声和去噪过程的生成模型，能够更好地拟合复杂的数据分布。Diffusion Transformer（DiT）将扩散模型与Transformer结合，利用强大的自注意机制建模长程依赖。RDT提出使用DiT代替常规的Transformer，使用QKNorm和RMSNorm解决大规模数据训练时的数值不稳定和梯度爆炸问题。

3.2.2 MoE与Mamba

在VLA训练过程中，由于继承的VLM权重大部分是由图文数据进行预训练的，直接使用机器人轨迹数据继续训练会损害原始预训练权重。使用图文数据和机器人轨迹数据联合训练可以在一定程度上缓解上述问题，但是在Transformer结构中，机器人控制任务和图文理解任务在共享参数空间中会相互竞争。

ChatVLA提出在Transformer中使用MoE替换原始的前馈网络模块，减小任务之间的干扰，并通过共享注意力机制实现跨任务知识迁移。

当输入令牌数量增加时，Transformer推理所需计算量随序列长度平方增长。Mamba作为一种基于状态空间模型的神经网络架构，通过引入输入依赖的选择性机制，避免了无关上下文干扰，实现了推理时的线性计算复杂度，从而获得比同规模Transformer更快的推理速度。

3.3 动作解码：如何生成动作

如图6所示，输入令牌在经过骨干模型推理后输出特征令牌，然后通过解码器转换为指定模态。如何选择动作空间以及如何建模动作分布则是动作解码面临的核心问题。

3.3.1 动作空间的选择

在目前的VLA模型研究工作中，常用的动作空间有两类：
一类是机械臂末端姿态的相对变化量。这类动作空间通常依赖当前机械臂的位置和姿态作为基准，推理下一时刻机械臂末端需要到达的位置和姿态，再通过机械臂的逆动力学模型解算出关节所需要的控制量。优势在于可以将不同形态机械臂动作空间统一。
另外一类是机械臂关节角度空间。这类动作空间直接输出机械臂每个关节的目标角度，通过关节角度控制器直接驱动机械臂运动，避免对机械臂逆运动学的需求。

3.3.2 动作分布的建模（离散 vs 连续）

在目前的VLA研究工作中，对于动作分布建模方式可以分为两大类：
离散动作是将连续动作按照一定的规则进行离散化。一种简单的方式是将连续动作空间的每个维度均匀划分成256个区间，让模型预测属于每个区间的概率。虽然训练速度快，但动作离散化会损害操作精度。
连续动作通常利用扩散模型强大的分布建模能力，可以有效覆盖数据中的多模态行为分布。如 (\pi_0) 使用流匹配模型直接预测去噪向量场，避免了扩散模型复杂的噪声构建，从而实现更少的采样步数和更高的控制频率。

3.4 分层系统（Hierarchical System）

单层结构下的VLA模型很难处理长时域任务。因此，如图7所示，分层VLA架构开始出现，将VLA任务拆解成长时域复杂任务理解（S2）与短时域动作生成（S1）。

对于长时域复杂任务理解，通常会使用预训练的VLM作为其任务理解模型（S2系统）；对于短时域动作生成，通常会借鉴之前的单层VLA模型（S1系统）。不同层之间如何高效地通信是分层系统的核心。目前的工作使用的通信原语大致可以分为3类：文本语言、动作轨迹和隐特征向量。文本语言具有良好的可解释性，但离散化丢失了信息；隐特征向量可以实现端到端训练，如GR00T N1使用交叉注意力机制将来自系统S2的特征与系统S1更精细地融合。

四、训练数据与预训练范式

4.1 数据金字塔

获得面向开放环境的通用VLA模型需要使用海量的训练数据。英伟达研究人员提出VLA训练数据金字塔的概念，如图8左侧所示，将VLA预训练过程中使用的数据划分成3种类型：互联网数据、仿真数据和真实机器人数据。底层是海量的互联网图文数据，中层是视频数据（包含时序与物理动态），往上是仿真数据，塔尖是极少量但极其珍贵的真实机器人数据。

从表1可以看出，本文与其他综述的区别在于，本文不仅覆盖了模型结构、数据集、预训练和后训练，还补充了模型评估的工作，并且涵盖了最新的发展历程。

表2极其详尽地列出了目前VLA领域的主流数据集，包括互联网图文数据（如CapsFusion、COCO）、视频数据（如Ego-4D、EPIC-KITCHENS-100）、仿真数据（如RoboCasa、DexMimicGen）以及真实机器人数据（如AgilBot World、DROID）。

4.2 预训练方法：如何把知识灌入模型

根据训练过程中使用的数据和训练方式，如图8右侧所示，目前VLA预训练方法分为4种：

1. 单一领域数据训练：使用大规模公开机器人数据集进行预训练，然后再使用当前任务的数据集进行微调。局限性在于视觉泛化能力比较差。
2. 跨域数据分阶段训练：继承预训练的大语言模型权重，在此基础上对齐机器人操作任务的视觉编码器和动作序列。例如RT-2使用大量的互联网图文数据使其获得VLM能力，然后再通过使用机器人操作轨迹数据进行微调。
3. 跨域数据联合训练：在训练过程中整合多种异构数据源，强制模型在不同任务时共享参数，从而保持已获得的能力。
4. 思维链增强：通过让VLA模型理解场景和任务，缓解观测到动作的“肌肉记忆”导致的泛化能力比较差的问题。强制模型在生成动作前先进行多步推理。

4.3 后训练方法：适应真机环境

当把预训练的模型部署到真实机器人上时，通常会面临性能很差甚至不工作的问题。因此需要根据目标机器人和任务采集少量数据进行后训练。如表3所示，后训练方法分为3类：

1. 监督微调（SFT）：通过采集少量任务相关的数据，使用监督学习的方法，在预训练VLA模型权重的基础上继续微调。这是目前使用最广泛的方法，代表工作有 (\pi_0)、OpenVLA等。
2. 强化微调（RL）：使用强化学习做VLA后训练，能够获得更好的性能上限。比如ConRFT提出一个两阶段VLA强化微调方法，通过人在回路的强化学习实现在线快速微调。
3. 推理扩展：在推理时采样多个动作，并使用离线强化学习预训练的值函数对多个动作进行评估，选择最优的动作执行。

五、VLA模型评估与产业现状

5.1 评估方法

论文将VLA模型评估方法划分为3类：基于真实环境评估、基于仿真器评估、基于世界模型评估。

从表4的真实环境双盲测试结果来看，目前 (\pi_{0.5})-DROID 是性能表现最好的模型，并且在直按物体操作任务上表现较好（比如拾取放置），但是对于工具使用和布料操作仍然比较困难，在需要精确对齐的任务（比如插入、堆叠等）上成功率低。

表5列出了常用的仿真器，比如CALVIN、LIBERO、SimplerEnv等，这些仿真器为VLA模型的快速迭代提供了低成本平台。

从表6和表7的仿真测试结果可以看出，π0系列模型、Hume、CogACT等在不同测试基准下表现出了强劲的性能，但距离完美的通用性仍有差距。

5.2 产业界现状

表8非常有价值，它梳理了目前全球顶尖科技公司和初创企业在VLA领域的布局。国外有Google的RT-2、NVIDIA的GR00T N1、Physical Intelligence的π0；国内有字节跳动的GR系列、美的的ChatVLA、银河通用的GraspVLA等。这里要特别注意，表8中列出的“智元 G0-1”是上海智元（Agibot）的产品，而不是启元（PRIMEBOT），我们在后续技术选型时要做好区分。

六、启元生态专属锚定与展望

读完这几十页的综述，我最大的感受是：学术界已经把“大脑”的架构探索到了极其精细的程度。但回到工程落地，从论文里的浮点运算走到真实的电机旋转，中间还隔着巨大的鸿沟。

启元Q1作为一款拥有22个自由度（双臂各4、双腿各6、腰部2）、身高88cm的双足人形机器人，它的底层架构设计，其实和综述里提到的前沿趋势有着惊人的契合。

6.1 启元Q1的双板架构与VLA分层系统的完美呼应

论文在3.4节重点讨论了分层系统（S2和S1）的必要性。单层大模型泛化好，但推理慢、频次低；小模型反应快，但不懂复杂语义。怎么办？分层。

其实，启元Q1的硬件底座天然就是分层的。Q1采用了双板架构：

• 运控板（10.1.1.100）：专门负责高频的底层运动控制、状态机管理和电机伺服。
• 大脑板（10.1.1.101）：算力更强，专门运行高阶感知与AI Agent算法。

这种物理上的“双板分离”，完美对应了VLA的S1和S2系统。开发者可以把最重的大模型（如基于LLaMA或Qwen微调的VLM）部署在大脑板上充当S2。大脑板通过SDK提供的CaptureJpegImage服务或RTSP视频流获取视觉信息，结合/aima/agent/asr_result的语音识别结果，进行慢思考，输出高层的任务序列。然后，大脑板再把这些指令下发给运控板（S1），由运控板去执行高频的电机控制。

6.2 动作解码与启元SDK接口的真实映射

论文在3.3.1节详细讨论了VLA的两种动作空间：末端姿态变化量和关节角度空间。这两者在启元SDK里，都能找到完美的对应接口。

如果你选择的是末端姿态空间（比如生成一段路径），你可以映射到启元SDK的locomotion/velocity话题，把计算出的前后线速度（forward_velocity）、横向速度（lateral_velocity）和转向角速度（angular_velocity）直接发过去。如果要控制上肢，可以通过/aima/mc/custom/joint/command，以CSV轨迹的形式下发。

如果你为了追求极高的控制精度，选择关节角度空间，那就要直接对接底层的高频控制接口/aima/hal/joint/command。

但这里有一个极大的安全红线！启元在《友好用户使用声明》里明确警告过：底层直控允许开发者绕过预设保护逻辑，但单帧位置增量绝对值禁止超过 0.2 rad。如果VLA模型输出的动作序列没有做限幅或平滑处理，直接原封不动地发给电机，会导致“剧烈震颤、机械碰撞或不可逆的硬件损毁”。所以，在动作解码网络之后，必须加一层物理约束的过滤。

6.3 状态机保护：VLA的安全兜底

VLA模型再怎么聪明，也可能产生幻觉。如果大模型突然发癫，让机器人在没站稳的情况下强行奔跑，后果不堪设想。

启元的McAction 状态机就是最后的安全防线。Q1的McAction管理着极其严格的状态拓扑（18个状态）。你不能从零力矩急停（PASSIVE_DEFAULT）直接跳转到走跑（BIPED_WALK_RUN）。无论VLA模型输出了什么离谱的指令，都必须经过SetMcAction的合法性校验。而且，输入源仲裁机制（SetMcInputSource）更是给安全上了双保险。系统级急停（优先级100-80）永远高于SDK的二开指令（39-20）。哪怕VLA模型在疯狂输出指令，只要遥控器（rc）或者系统安全机制介入，控制权会瞬间被夺回。

6.4 启动启元的数据飞轮

综述在4.4节强调了真实机器人数据的重要性。启元Q1在市场上销售，并在AtomGit上开源，这恰恰是启动“数据飞轮”的绝佳契机。

当Q1在真实家庭环境中执行RPK技能包（如“拿衣服”）时，底层通过/aima/hal/joint/state以500Hz的高频回传关节状态（包含位置、速度、力矩甚至电机温度）。同时，视觉传感器不断捕获画面。这些包含成功与失败的轨迹，可以脱敏后回流到AtomGit社区。开发者利用这些真实数据，在预训练的VLA模型上进行后训练，模型越练越聪明，再打包成新的技能分发出去。

七、总结与展望

本文以《面向具身操作的视觉-语言-动作模型综述》为核心蓝本，系统拆解了VLA模型的技术全景：

• 发展历程：从早期的序列化处理，到RT-2的大一统，再到现在的分层系统。
• 核心架构：观测编码（ViT/3D/触觉）、特征推理（Transformer/DiT/MoE/Mamba）、动作解码（离散化 vs 连续化）。
• 数据与训练：数据金字塔，以及预训练（跨域联合、思维链）和后训练（SFT、RL、推理扩展）范式。

在此基础之上，本文进一步锚定启元Q1的生态定位，探讨了：

• 启元双板架构与分层VLA（S1/S2）的完美呼应。
• VLA动作解码如何安全映射到McAction状态机与JointCommand接口，并强调了0.2rad的物理限幅红线。
• 利用Q1真实数据与AtomGit生态，启动“数据飞轮”。

视觉-语言-动作模型，不仅是学术界的研究热点，更是启元Q1从“能走能跑”真正走向“听懂人话、干好活”的关键技术底座。

尾

本期技术解构至此。

论文揭示的方法论范式对跨领域技术实践具有普适参考价值。下期将聚焦其他前沿成果，深入剖析其的突破路径。敬请持续关注，共同深挖工程实现脉络，淬炼创新底层逻辑，在学术与工程融合中洞见技术演进规律，推动领域范式持续进化。

启元机器人开发者：https://dev.primebot.com