如果你关注具身智能方向，多半已经刷到过这类演示：一个机械臂接到一句“把红色马克杯放到蓝色托盘上”，看一眼桌面，伸手，握住杯子，平稳移动，精准放下。这个在三年前还显得很科幻的画面，现在已经成为机器人操作领域反复展示的标准动作。支撑这一连串行为的模型，正是VLA——视觉-语言-动作模型（Vision-Language-Action Models）。《VLA Models: Concepts, Progress, Applications and Challenges》这篇论文，就是专门对VLA的概念、进展、应用和挑战做系统性梳理的综述。我通读之后最大的感受是：它把VLA从“热门词汇”还原成了“一套有明确边界的技术方案”，既适合刚入门的研究者建立全局认知，也适合正在做机器人落地的工程师用来对照自己的技术选型。这篇内容就是我对论文核心思想的拆解，加上一些在实践视角下的补充判断。
1. VLA模型到底在解决什么问题：从“看懂画面”到“执行动作”的范式跃迁
VLA这个名字拆开看并不神秘：视觉（Vision）负责读图，语言（Language）负责理解指令，动作（Action）负责输出物理世界的操作。但真正值得深挖的是，为什么要把这三个能力塞进同一个模型，而不是像传统机器人系统那样分成独立的模块。
1.1 传统机器人系统的“感知-规划-控制”三段论，问题出在哪
稍微接触过机器人开发的人，对这条经典流水线都不会陌生：先用目标检测、语义分割、三维位姿估计模块处理相机数据，得到一个结构化的“世界模型”；然后由任务规划器把“把桌子收拾干净”这样一条高层指令拆解成“移动到桌边—识别杯子—抓取—放到指定区域”这类子步骤；最后由运动规划和底层控制器把每一步变成关节空间的轨迹并执行。
这套体系运转了几十年，本身非常成熟，但它有一个结构性问题：每一层都是独立优化的，层与层之间只传递固定格式的中间结果。感知一旦发生误检，下游规划模块拿到的就是错误输入，而且它没有任何机制去修正这个错误。语言指令与视觉信息的交互也偏“模板化”——更像是关键词到子任务的映射，很难处理口语化、多轮、带隐含条件的指令。
VLA的思路则是直接把图像像素、语言指令和机器人动作放进一个统一的神经网络模型里联合建模。通俗点说，传统方法是“眼睛、大脑、手臂各干各的，靠开会沟通”，VLA是“让大脑直接接管眼睛和手臂的信号”。这种设计不追求每个环节都做到极致，但强调整体端到端的最优化。
1.2 VLA论文给出的定义与组成要素
这篇综述对VLA的界定很清晰：VLA是一类以视觉语言模型为基础架构、以机器人动作序列为输出目标的大规模多模态模型。它不限定具体的网络结构，只要满足“视觉输入+语言指令→动作输出”这个统一范式，都可以归入VLA的范畴。
拆开来看，一个VLA系统的核心要素包括：
- 观测输入：通常包括一个或多个视角的RGB图像、深度图像、机械臂本体状态，必要时包含历史帧；
- 语言指令：自然语言形式的任务描述，例如“打开中间的抽屉”或“把螺丝刀放到右边的盒子里”；
- 动作输出：末端执行器的位姿轨迹、关节角序列，或导航场景下的移动指令；
- 训练数据：由“互联网级图文数据”和“真实机器人遥操作轨迹”两部分构成；
- 训练范式：先在视觉语言任务上做大规模预训练，再用机器人轨迹数据做微调或联合训练。
理解这五个要素很重要，因为后面谈到的几乎所有进展和挑战，都围绕其中某一个要素展开。比如模型架构怎么改、数据规模怎么堆、微调策略怎么选，本质上都是在调整这几个组成模块的组合方式。
1.3 与VLM和大语言模型的关键差异：最后一个字母改变了任务本质
很多人会把VLA看作视觉语言模型加一个“动作输出头”的简单扩展，我觉得这是最需要纠正的误解。VLM和大语言模型的任务是生成文本，目标是“理解并表达”；VLA的任务是生成动作，目标是“通过物理交互改变世界状态”。
这个区别带来三个连锁影响。第一，VLA必须考虑闭环——它输出的动作会改变环境状态，而下一步决策要基于新的视觉输入，这与一次性生成一段文本完全不同。第二，模型的评估指标变了，判断标准是任务成功率，而不是文本流畅度或回答相关性。第三，错误代价完全不同，模型在对话里说错一句话可以重新生成，在物理世界里一个错误动作可能撞坏设备或伤到人。
我读这篇综述时印象很深的一句话是：VLM是“看懂了然后说出来”，VLA是“看懂了然后做出来”。最后一个字母的差别，决定了整个建模逻辑、数据需求和安全要求的全面改变。
2. 架构拆解：VLA是怎么把一套连续动作“塞进”大模型里的
概念讲清楚了，下一个很实际的问题是：大模型天生只会输出离散的文本token，而机器人需要的是连续的关节角度或末端位姿，这两者怎么对接？
2.1 动作表征方式：把连续轨迹“翻译”成模型能学的信号
论文花了相当篇幅讨论动作表征，这是VLA区别于普通多模态模型的核心技术点。目前主流的做法可以分成两大类。
第一类是离散动作token。把连续的动作轨迹——例如末端位姿的七维向量（位置加姿态）——通过量化方法离散成若干个“动作单词”，组成一个动作码本，然后用语言模型惯用的交叉熵损失来预测下一个动作token。这样做的好处是训练范式统一，模型可以当作一个“生成了语言之后再生成动作”的序列生成任务来处理，实现简单。坏处是离散化会引入量化误差，码本设计得好不好直接影响动作的精细程度。
第二类是连续动作回归。模型直接在一层动作专家网络中输出连续的七维向量或一段轨迹，用均方误差或L1损失训练。好处是与机器人控制接口天然对齐，没有量化损失，动作更平滑；坏处是和语言模型惯用的交叉熵训练目标不搭，直接回归时模型头容易不稳定，训练波动大。
两种方式之间还有一种折中方案被论文提到：离散化负责给出粗粒度的“行动意图”，连续回归负责输出细粒度的“执行修正”，相当于先选挡位再微调油门。我自己在实验里的体会是，现阶段做精细操作时，连续回归往往更容易上手，但模型训练要更小心；做大规模预训练时，离散token的统一性优势又会体现出来。所以这不完全是二选一，取决于你的数据规模和落地场景。
2.2 视觉语言骨干怎么选：从CLIP嵌入到完整VLM
动作表征解决的是“怎么输出”，接下来要解决的是“怎么理解输入”。VLA的视觉语言骨干经历了明显的演进。
早期方案是用CLIP这类模型提取视觉和语言的联合嵌入，把嵌入向量作为额外条件输入到策略网络里。优点是轻量、稳定，但缺点也很明显：CLIP的嵌入对物体级别的关系理解尚可，缺少细致的空间位置关系。你让它知道“有一个杯子和一个托盘”没问题，要它精确定位“杯子的抓取点在哪个坐标”就不行了。
目前的主流方案是直接用完整的开源VLM作为骨干，不冻结视觉编码器，让图像token和语言指令在Transformer内部做充分的交叉注意力交互。这样模型可以获得像素级别的位置感知能力，也可以利用VLM在互联网文本上积累的开放词表理解能力。论文也特别指出，视觉编码器的选择存在明显权衡：使用高分辨率视觉输入和更小的patch size能显著提升精细操作表现，但视觉token数量会随之暴涨，推理延迟也跟着线性增长。
这条主线其实反映了一个核心逻辑：VLA理解能力的上限，很大程度上由它的视觉语言底座决定。换一个更强的VLM，往往比在策略头上做更多工程优化更有效。
2.3 策略头与低层控制器的交接面：被很多人忽略的“最后一公里”
架构上还有一块很容易被忽略，就是VLA输出动作之后，怎么和真实机器人对接。任何VLA都不能直接插进千赫兹级别的伺服控制环路——VLA的推理时间在数百毫秒到数秒，而关节控制器需要毫秒级的反馈频率。
实际工程中，VLA输出的通常是一段“动作块”，也就是预测未来几十步的执行器位姿序列。这个序列随后交给一个经典的轨迹插值器或笛卡尔阻抗控制器，由低层控制器完成高频平滑跟踪。在这篇论文里，这部分内容不是重点，但我觉得对动手做项目的人来说恰恰很关键。
关于动作块长度，说实话没有标准答案。太短的话模型需要频繁推理，端到端延迟高，动作容易抖；太长的话模型可能在途中已经偏离目标，后续也没机会修正。我习惯从30到50步起步，结合实际执行速度和任务复杂程度去调节，这算是踩过不少次坑之后的经验。
3. 进展脉络盘点：从“会聊天的模型当教练”到“原生动作模型”
任何技术路线都不是凭空出现的，VLA能成为今天的热点经历过很清晰的演进路径。这篇综述把这部分进展整理得非常有价值，我按时间顺序重新梳理一下。
3.1 萌芽期：语言模型当“教练”，视觉模块当“眼睛”
在真正端到端的VLA出现之前，很多工作已经把大语言模型引入机器人流程中，只不过它们承担的是“任务规划器”的角色。比如，给定高层指令“把桌子收拾好”，语言模型会输出一串子步骤：移动到桌边、识别散落物品、放到收纳盒里、确认完成。下游则继续采用传统视觉算法和规划工具逐项执行。
这条路线本质上没有改变机器人的整体架构，语言模型只是被当作一个更聪明的规则引擎。它对高层指令的理解有进步，但中间的交互是“文本到文本”的，视觉信息和语言指令没有在token级别融合。所以一旦指令变得抽象，比如“像往常一样整理”，或者环境状态和语言描述不完全一致，这条管道就很容易掉链子。
3.2 端到端动作生成的关键实验：数据规模成为第一性变量
后来的发展是思路上的重要转折：不把语言模型当教练，而是直接把视觉、语言、动作放进同一个模型里训练，让模型自己学会从像素和指令直接生成动作序列。
论文着重提到一系列端到端实验的里程碑意义。这类模型不再为视觉理解和任务规划单独设计接口，大家开始意识到，机器人轨迹数据规模是决定模型能力的首要变量——不是单纯增加轨迹数量就够了，还要增加任务种类、场景数量和指令表达的多样性。几十万条轨迹训练出来的模型，在口语化指令条件下的表现已经远远超过小规模模仿学习。
更关键的是，这个阶段出现的开源VLA项目，让学术界和工业界第一次可以用有限预算复现VLA效果。做法是用一个开源VLM作为骨干，在模型末尾接上动作专家模块，再用低秩适配的方式在机器人数据上微调。这改变了VLA“只能看，不能用”的局面，大量团队得以在此基础上做二次开发。
3.3 数据混合、联合训练与“遗忘危机”
这里要特别聊一个论文里点到但日常讨论中容易被忽略的问题：灾难性遗忘。如果在海量机器人数据上微调时把互联网规模的语言知识完全丢在一边，模型会逐渐“忘记”很多通用世界知识，导致对没见过的名词、组合概念和常识情境理解力下降。
解决办法是co-training，也就是把视觉语言任务和机器人任务按一定比例混在一起训练，让模型在学习动作的同时不忘文本世界的“老本行”。另一个更省资源的方案是冻结骨干、只更新低秩适配参数，让基础模型的理解能力保持稳定。这个方法的性价比极高，我接触过的不少实操项目都是用这种方式做的——说白了一句话，预算有限就别随便全参数微调。
4. 应用图谱：论文盘点出的VLA落地场景与合理边界
对比概念和进展，很多人更关心的是：VLA到底能干什么、哪些场景已经具备落地条件。论文这部分梳理得很客观，我把代表性场景分三类来分析。
4.1 操作任务：最集中的落地场景
论文盘点的应用案例，绝大多数集中在桌面操作和移动操作这两类任务上。桌面操作包括抓取、放置、堆叠、倒水、开抽屉、叠毛巾这类动作；移动操作则是在底盘或人形平台上完成“走过去，拿起来，送过来”的组合任务。
这些场景有一个共同特点：物体相对固定、相机视角稳定、指令语义清晰。比如“把红色马克杯放到蓝色托盘上”，目标物和方位都是明确可验证的。这也是目前开源VLA最容易复现、评测指标最好看的任务类型。如果你想快速判断一个VLA模型做得好不好，先从桌面抓取放置类任务入手是最合理的。
不过要泼一盆冷水：演示视频里的“成功”是经过筛选的。你去看完整测试记录就会发现，同一模型在任务成功的同时，也会出现抓偏、中途掉落、回复式抖动这些问题。论文里报的平均成功率，本质上是一个包含大量失败样本的统计结果。
4.2 移动导航与多步长时程任务
当任务跨度拉长——比如“去厨房拿一罐可乐，再放到茶几上”——VLA就不能只充当一个操作策略，而是要承担更接近“环境交互大脑”的角色。论文认为，这类任务需要把VLA与拓扑地图、语义地图甚至外部记忆模块结合，由VLA负责理解当前环境和决定下一步行动，由导航模块负责安全移动。
这条路的挑战主要在于长时程记忆和错误恢复。目前VLA在几十步内的任务表现尚可，一旦超过这个范围，记忆衰退和累计误差就会明显放大。我的判断是，短期内指望VLA单模型解决长时程任务不现实，更务实的方案是在外部加一层任务状态跟踪器，把“模型已经做到哪一步”显式记录下来，出错时能够回溯。
4.3 从仿真到真实：S2R的鸿沟
仿真环境在数据生成和测评效率上天然有优势，但论文也明确警告：仿真训练得到的VLA在迁移到真实机器人时存在系统性偏差。视觉层面的材质、光照、纹理差异之外，物理层面还有摩擦力、质心、柔性变形等大量难以模拟的因素。
我见过不少团队在仿真里跑通100%成功率的VLA，真机一上来就频繁翻车。解决的关键不是盲目加随机化，而是建立“仿真预训练、真机少量精调”的数据策略：先在真机上小规模采集一组代表性的轨迹，确认基础动作能达到可接受水平，再回头用仿真放大数据规模。顺序如果反了，很容易浪费大量算力和调试时间。
5. 论文点名的五大挑战：数据、泛化、实时性、安全性与评测
综述的价值一半在于梳理成就，另一半在于坦诚地指出问题。这章是论文里最有含金量的部分，我结合自己做项目的体会逐条解读。
5.1 数据困境：机器人轨迹数据为什么这么“金贵”
互联网不缺文本，也不缺图片，缺的是带有物理因果关系的动作数据。一条可用的机器人轨迹，需要人用遥操作设备一点点采出来，不仅消耗硬件寿命，还要搭场景、写脚本、标注指令，成本极高。
更麻烦的是数据分布极度不均匀。不同机械臂本体、不同相机位置、不同夹爪类型，同一任务采集出来的数据格式完全不同，无法直接互相复用。这不像语言模型可以靠爬虫堆数据，VLA的数据增长是缓慢而昂贵的。
论文提到的应对思路包含仿真数据、数据增强、跨机构共享数据，以及利用人类操作视频。人类视频是最诱人的方向——互联网上海量的“人做家务”视频不需要遥操作成本，但人和机器人的自由度、力觉、视觉尺度差异仍然是一道难以跨越的鸿沟。现阶段只能当辅助，不能当主力。
5.2 泛化问题：看起来聪明，换一个环境就“失忆”
VLA对分布内任务和指令组合的泛化能力其实不错，但遇到场景外观变化、物体材质变化、光照变化，成功率就会明显下降。这不难理解：大规模模型的泛化能力本质上是数据覆盖面的体现，数据里没见过的视觉分布，模型再聪明也没法凭空学会。
论文强调了一个很重要的方法论建议：在评估VLA泛化能力时，不要只报一个平均任务成功率，而是分维度拆开分析——视觉外观泛化、指令表述泛化、物体类别泛化、场景布局泛化。这样做能清楚定位短板到底出在哪个环节，也避免被一个“看起来还行”的平均数误导。
5.3 实时性：大模型推理速度与机器人控制频率的冲突
如果不做动作块预测，指望VLA在闭环控制里一帧一帧地输出，机器人动作会出现肉眼可见的卡顿和迟滞。这是因为每一次推理都要重新跑一遍大模型的视觉语言主干，延迟轻松超过几百毫秒，而机器人执行动作的底层控制器频率要求远高于此。
论文给出的解决方向就是前面提到的动作块机制，让模型“一次想好一小段动作”，底层交给高频控制器去执行。我在实践中还会再加一道保险：用一个快速的低层状态机或安全校验器来监视执行过程，一旦发现动作偏离预期就不等待VLA重规划，先触发停止或回退动作。这个设计虽然多花了一点工程成本，但对系统稳定性的提升是决定性的。
5.4 安全问题：物理世界不给你“重新生成一次”的机会
这是论文中反复强调、但在各种演示视频里最常被忽略的问题。大模型在对话里说错一句话没什么后果，机器人在物理世界里做一个错误动作，轻则任务失败，重则损坏设备或影响人身安全。
论文承认，当前VLA普遍缺少风险意识和不确定性估计。模型在遇到分布外输入时，更容易做出一个自信的错误动作，而不是停下来输出“我不确定该怎么做”。这一点和人的直觉相反——很多模型越“自信”，越危险。
实践中的应对思路是设计多层安全机制：物理层面限制关节力矩和末端速度，规划层面限制动作空间边界，控制层面设置急停开关。同时尽量让VLA输出目标层面的运动轨迹，而不是直接输出未经验证的原始扭矩或关节力矩指令。安全不应该是一等公民，而应该是底层约束。
5.5 评测问题：模拟器得分和真实可用性之间的“代差”
从研究和工程对照的角度看，评测可能是当前VLA领域最卡脖子的环节。仿真环境可以高效产出成绩——任务成功率、完成步数、路径效率——但仿真器的“成功判据”往往过于宽松，放进真实世界后意义要大打折扣。
真实评测虽然可信度高，但成本高、周期长、结果难以在不同实验室之间复现。论文的立场是，当前亟需建立相对统一的离线评估方法和跨环境联合评测体系。我补充一个个人观察：VLA社区目前缺少一个中文指令+常见家用物品+标准化机械臂的开源小型基准。如果未来有人补上这块空白，对国内社区会是极大的推动力。
| 挑战维度 | 论文提到的主要问题 | 对工程落地的具体影响 |
|---|---|---|
| 数据 | 轨迹数据昂贵、异构、难以规模化 | 模型能力受限于数据覆盖，跨设备复用困难 |
| 泛化 | 外观、物体、指令变化时成功率骤降 | 交付时必须限定场景边界，不敢完全开放 |
| 实时性 | 大模型推理延迟高于控制频率 | 需要动作块机制和低层控制器配合 |
| 安全 | 分布外输入时过度自信、错误成本不可逆 | 必须设计多层兜底，不能依赖模型自律 |
| 评测 | 仿真和真实结果存在系统性代差 | 项目验收标准难统一，进展评估失真 |
6. VLA落地前必须想清楚的三个现实问题
论文读完之后，如果你准备在自己的项目里用它，我建议在动手之前把这三个问题想透。
6.1 你要的是通用大脑，还是一条专用动作序列
VLA最大的卖点是通用：一个模型应对多样任务、多样环境、多样指令。但通用是有代价的——需要的数据量级通常在几十万条轨迹起步，不是普通小团队能轻松积累的。相反，如果你的场景很固定，比如只做一种工件抓取，用更传统的行为克隆或模仿学习方法可能效果更好、成本更低。
我见过不止一个团队因为“VLA火了所以要上VLA”，结果既没有足够数据，也没有清晰的场景边界，最终实验收不了口。选型之前先诚实地回答一个问题：你的任务到底需要多广的分布覆盖？
6.2 数据采集格式从一开始就定好，否则返工成本极高
如果你决定走VLA路线，数据格式的规范化应该放在第一步。相机内外参、本体状态频率、动作空间编码、指令文本模板，这些看似琐碎的项目，决定了后续所有训练实验能否顺利复现。
指令文本尤其容易被低估。如果采集时只用固定模板写“把杯子放到盘子里”，模型学到的就只是关键词匹配，换个表达方式就失效。我建议采集人员在写指令时刻意多样化：“帮我把它放到旁边”“放到那个蓝色的盘子上”“轻轻放过去”都可以录，这样模型才有机会学到真正的语义理解。
6.3 安全兜底不是最后加的功能，而是必须前置的约束
没有安全机制的VLA，永远只能停留在演示阶段。接上真实机器人之前，先把力矩限制、速度限制、关节空间越界检测、末端碰撞检测做扎实，再让模型输出动作。并且不要把所有信任都押在模型的判断上，VLA出现问题的方式通常很隐蔽——它不会说“我错了”，只会表现出一次既果断又错误的行为。
我现在做一个新任务时，习惯先让模型在纯仿真环境里跑一百次随机初始状态，统计失败模式和触发安全边界的频率，再上真机。这套“冒烟测试+边界摸底”的做法，虽然会拖慢一点迭代速度，但省下来的排障时间远超投入。对一个正在快速演进的方向来说，少翻车几次，本身就是一种效率优势。
