具身智能论文学习10：π0: A Vision-Language-Action Flow Model for General Robot Control-平芜编程栈

第一部分：基本收录情况

项目	内容
论文全名	π0: A Vision-Language-Action Flow Model for General Robot Control
中文译名	《π0：面向通用机器人控制的视觉—语言—动作流模型》
主要团队	团队：Physical Intelligence（PI），美国旧金山机器人基础模型团队
正式会议	Robotics: Science and Systems XXI
会议简称	RSS 2025
会议时间	2025年6月21日至25日
会议地点	美国洛杉矶，南加州大学
正式论文编号	Paper 10
正式DOI	10.15607/RSS.2025.XXI.010
会议分组	Session 2：VLA Models
作者团队	Physical Intelligence
论文类型	VLA、机器人基础模型、跨具身学习、模仿学习
基础VLM	PaliGemma 3B
动作专家	约300M参数
总参数量	约3.3B
动作生成	Conditional Flow Matching
动作块长度	H=50
机器人数据	超过10000小时
自有机器人配置	7种
自有任务数量	68项
控制频率	最高50Hz
上传版本	arXiv v4，2026年1月8日，17页

第二部分：论文要解决的核心问题

如何在保留预训练 VLM 强大视觉语言知识的同时，直接生成高频、连续、精细的机器人 Action Chunk，从而实现通用且灵巧的机器人控制？

（1）OpenVLA / RT-2

它们的优势是：

Pretrained VLM ↓ 强视觉语义 强语言理解 Internet-scale knowledge ↓ Robot Action

但 Action 的做法是：

continuous action ↓ discretize ↓ action token ↓ autoregressive decoding

问题在于：

① Robot action 本质是连续的

比如：x=0.013,y=−0.021,θ=0.008，强行离散成 token 会引入误差。

② 高频动作逐 token 解码效率低

灵巧任务可能要求：

20 Hz / 50 Hz

而一个大 LLM 一维一维 autoregressive 解动作，本来就不是为这种控制频率设计的。

③ Single-step action 缺少时间一致性

OpenVLA 不支持 action chunking，而 π0 论文甚至直接把这一点作为它在 dexterous tasks 上表现差的重要原因。

OpenVLA 确实会生成一串 Action Tokens，但这串 token 表示的是“同一个时刻的一次 7D 动作”，不是未来多个时间步的动作序列。
OpenVLA 的输出可以写成：，这 7 个动作维度分别被离散化，然后 Llama 自回归生成 7 个 Action Tokens：，它们共同表示的是：一个时刻的一个 7D action，而不是：

（2）Diffusion Policy / Octo

它们已经知道：

continuous generative action modeling 很适合机器人。

Diffusion Policy：

Observation ↓ Diffusion ↓ Continuous Action Chunk

但是：

Diffusion Policy 没有强大的 pretrained VLM；Octo 的整体 representational capacity 又比大型 VLA 小很多。

π0 的 Figure 7 讨论里作者就是这么解释的：Octo 有 action chunk，但表示能力相对有限；因此关键是把大模型能力和 diffusion/flow 式复杂动作建模结合起来。

（3）整体原因总结

Autoregressive VLA语义能力强但连续高频动作建模较弱；Diffusion-style policy 动作建模强，却缺乏大型 pretrained VLM 的知识与表示能力。

于是 π0 要把两条线合起来：Pretrained VLM+Generative Continuous Action Model

第三部分：π0的整体框架

（1）π0的数据和模型来源

①从预训练 VLM 到机器人基础模型

以预训练 PaliGemma 作为视觉语言 Backbone，加入 Robot State 与 Action Expert，再通过大规模跨机器人数据继续训练，将 Internet 视觉语言知识转化为通用机器人控制能力。

将已经训练好的PaliGemma加入机器人状态输入和动作专家，再使用大规模跨机器人数据训练：

SigLIP（400M）视觉-语言多模态模型（ViT 图像编码器 + BERT 文本编码器）：负责处理 RGB 图像，把图像变成视觉特征 / visual embeddings。
Gemma（2.6B）单模态语言模型：负责语言和多模态 Transformer 推理，把视觉信息和语言指令结合起来理解。

然后：使用大规模跨机器人数据继续预训练→π0

PaliGemma 提供：

视觉语义
语言理解
视觉-语言对齐
Internet-scale 常识

机器人预训练再补上：

机器人状态理解
动作生成
跨机器人控制能力
物理交互经验

最后得到：Internet视觉语言知识+大规模机器人经验=π0 的通用能力

论文 Figure 3 的逻辑其实就是这样：PaliGemma 初始化 VLM backbone，再加入 Action Expert，并用包含自有灵巧操作数据和开放机器人数据的 pre-training mixture 共同训练。

（2）高质量后训练微调

针对洗衣、装箱、清理桌面等复杂任务，再使用精选高质量示范进行微调：

基础 π0+高质量任务数据→专用高性能策略

图1从整体上展示了π0的数据来源、模型结构和三种使用方式。左侧是Physical Intelligence自建的跨具身机器人数据，覆盖单臂、双臂和移动操作机器人，以及清理桌面、装食品、做咖啡、清空烘干机和组装纸箱等多种操作；上方还引入互联网规模视觉语言预训练和Open X-Embodiment数据。中央的π0由预训练VLM和独立Action Expert组成，VLM负责理解图像与语言，动作专家通过Flow Matching生成连续动作。右侧展示三种应用：对于预训练分布内任务，模型可直接根据语言提示执行；对于复杂困难任务，可利用高质量数据进行专门后训练；对于预训练中没有的新任务，则可用较少目标域数据进行高效后训练。

（3）模型的输入与输出

在真实时刻的观测写成：（多张 RGB 图像+语言指令+机器人本体状态），其中：

：第个摄像头图像；
：通常为 2 或 3 个摄像头；
：语言指令；
：机器人本体状态，例如关节角。

模型输出的是未来动作块：

论文中：H=50 也就是每次同时生成未来50个连续动作。

这里的“动作token”与OpenVLA的动作token不同。

OpenVLA中的动作token是：离散词表ID

而π0中的动作token只是：

Transformer序列中的一个连续动作位置。

它保存的是连续动作向量，而不是从256个离散类别中选择一个编号。

（4）VLM Expert

π0使用PaliGemma作为基础VLM，PaliGemma负责处理：[图像,语言]

RGB图像；
语言指令；
图像—语言语义关联。

图像首先经过视觉编码器，再被映射到与语言token相同的embedding空间：

语言则经过语言Tokenizer和Gemma Transformer：

PaliGemma约有：3B参数，论文选择它主要是因为：

已具有互联网规模语义知识；
参数量小于超大型VLM；
更适合实时机器人控制。

论文强调，理论上该框架并不局限于PaliGemma，也可以替换为其他预训练VLM。

（5）Action Expert

为了让VLM处理机器人连续动作，论文加入了：

Action Expert，动作专家。

负责处理：[机器人状态,带噪动作块]，它从头初始化，约有：300M参数

（6）VLM Expert和Action Expert相互结合

两个Expert 它们通过Self-Attention交换信息，共同工作：视觉语言表示↔机器人状态与动作表示

最终模型总参数量约为：3B+0.3B=3.3B

图3展示了π0从多源数据输入到跨机器人连续动作输出的完整架构。左侧训练数据由Physical Intelligence自建的π机器人数据、互联网图文预训练知识以及Open X-Embodiment数据组成。当前机器人通常提供三路图像，这些图像分别经过ViT视觉编码器，语言指令如“fold shirt”则以语言token形式输入Gemma语言模型；图像和语言由预训练VLM处理，图中将其具体表示为约400M参数的SigLIP视觉编码器和约2.6B参数的Gemma语言模型。机器人状态和带噪动作块进入约300M参数的Action Expert，动作专家在视觉、语言和机器人状态条件下，通过Flow Matching将随机噪声逐步转换为未来动作序列。右侧表示同一模型可以输出14自由度双臂动作、包含移动底盘的高维动作以及7或8自由度单臂动作。

（7）分块注意力结构

π0的输入分为三个注意力块：

[图像＋语言]、[机器人状态]、[带噪动作块]，即：，注意力规则是：

每个块内部使用双向注意力；
前面的块不能看到后面的块；
后面的动作块可以看到前面的全部图像、语言和状态。

因此：Action Expert 在计算某一个未来动作时，可以通过 Attention 同时参考视觉信息、语言任务、机器人当前状态，以及未来动作序列中其他动作位置的信息；但图像和语言 Token 无法查看后面的动作 Token，这样可以尽量保持PaliGemma原有输入分布，减少加入机器人信息后对VLM表示的破坏。

Flow Matching 推理要迭代大约 10 次，但这 10 次中图像、语言和机器人当前状态都没变，只有 noisy action 在变，所以前面已经算好的 Attention Key/Value 可以重复利用，不必每次重新计算，从而降低推理成本。

（8）Flow Matching训练原理

目标是真正学习：，即在当前图像、语言和机器人状态下，合理的连续动作块分布。

①取真实动作

从示范中取出真实动作块：

②采样随机噪声

③在噪声与真实动作之间插值

选择一个Flow时间，随机选择：

构造：

当：时：是纯随机噪声。

当：时：是真实动作。

④定义正确的移动方向

在 Flow Matching 训练时，我们已经知道“随机噪声应该最终变成哪一个真实 Action Chunk”，所以可以直接算出从噪声指向真实动作的目标速度向量。从噪声走向真实动作的目标速度为：

表示目标速度场 / 正确速度，表示“当前位于时，为了沿正确路径走向真实动作，应该具有怎样的速度？”

速度的值是通过距离对时间求导得到的：

⑤让模型预测速度场

π0 训练时不是预测“加了什么噪声”，而是预测“应该往哪个方向移动的速度”：

训练损失是：，即：

意思是：

给模型一个处于噪声和真实动作之间的动作状态，让它判断接下来应该朝哪个方向移动，才能走向合理的真实动作。

（9）Flow Matching推理与Diffusion Policy的区别

推理时，模型从纯高斯噪声开始：

然后按照学习到的速度场向前移动：

论文使用：，也就是从0-1分成10段；

因此共运行：10次积分，也就是走10步，这里的“积分”本质就是：不断把“速度×小时间”累加到当前动作上，最终：得到干净动作块。

①与Diffusion Policy的共同点

两者都：

从随机噪声开始；
多次迭代；
生成连续动作；
能表示多模态动作分布。

②主要区别

Diffusion Policy通常学习：当前动作中包含什么噪声，然后逐步去噪。

π0学习：当前动作应该以什么速度向真实动作流动

Diffusion：逐步去掉噪声

Flow Matching：沿速度场把噪声运输到动作分布

③Flow Matching的优势

Flow Matching 更适合它想做的“大型 VLM + 连续高频 Action Chunk”这一整套架构，但是论文没有证明“Flow Matching 比 Diffusion Policy 全面更好。”

因为论文其实没有做一个完全控制变量的Flow Matching vs Diffusion Policy消融来证明这一点。它真正证明的是：强 VLM+Flow Matching Action Chunk

这个组合在它的大规模 dexterous robot setting 里非常有效。

（10）Action Chunking与实时控制

模型一次生成：H=50 个动作。如果机器人控制频率为：50Hz，那么50步对应约1秒动作。

但模型通常不会把全部50步都执行完才重新推理。

论文中的执行方式是：

UR5e和Franka运行在20Hz，每执行16步后重新推理；
其他50Hz机器人每执行25步后重新推理。

也就是：20Hz:16步=0.8秒 50Hz:25步=0.5秒

这些动作前缀在执行期间是开环的，执行完后再重新观察和生成新的动作块。

在RTX 4090上，论文报告：

模型部分	时间
图像编码器	14 ms
观测前向计算	32 ms
10次Flow动作计算	27 ms
网络延迟	13 ms
本地总推理时间	73 ms
远程总推理时间	86 ms

（11）跨机器人接口统一

图5展示了π0自有训练数据中的七类机器人配置，包括双臂UR5e、双臂Trossen、双臂ARX、单臂UR5e、Franka、移动Trossen和移动Fibocom。前三种主要测试双臂协同操作，UR5e和Franka代表7或8维单臂控制，移动Trossen和移动Fibocom则在双臂动作之外进一步加入移动底盘控制。不同平台具有不同摄像头数量、关节结构和动作维数，例如单臂UR5e为7维状态与动作，双臂平台通常为14维，而移动机器人可达到16或17维动作。论文将这些平台联合输入同一个π0模型，通过图像槽位屏蔽、状态与动作零填充等方式统一接口，从而使模型同时学习单臂、双臂和移动操作技能。

不同机器人具有不同的：

摄像头数量；
关节数；
手臂数量；
夹爪；
移动底盘；
动作维度。

π0采用统一槽位方案。

①图像槽位

最多预留3个摄像头位置。没有某个摄像头时：Mask掉对应图像Token

②状态与动作维度

状态和动作统一扩展到最大：18维

低维机器人使用零填充。

例如：[7维动作]→[7个真实值+11个零]

③七种机器人配置

配置	摄像头	状态／动作维数
UR5e	2	7
双臂UR5e	3	14
Franka	2	8
双臂Trossen	3	14
双臂ARX／AgileX	3	14
移动Trossen／ARX	3	动作16维
移动Fibocom	3	动作17维

因此，同一个模型可以联合训练：单臂+双臂+移动操作机器人

但零填充只是统一接口，并不自动保证不同机器人之间一定产生正迁移。

（12）预训练数据组成

论文使用超过：10000小时的机器人数据。

Physical Intelligence自有数据约包含：903M个时间步

其中：106M来自单臂机器人，797M来自双臂机器人。

自有数据覆盖：7种机器人配置和：68项广义任务

训练混合中约：9.1%来自开放数据，包括：

OXE；
BridgeData V2；
DROID。

这些比例是训练采样混合权重，不等于原始数据文件大小的简单占比。

图4使用两个饼图区分“原始数据步数占比”和“训练时实际采样权重”。左图显示原始数据量高度不均衡，其中双臂ARX约占全部时间步的51%，双臂AgileX、UR5e和双臂Trossen分别约占10%，OXE Magic Soup约占5%，其余移动机器人、双臂UR5e和Franka数据占比较小。右图则是经过任务—机器人重加权后的训练采样比例：双臂ARX降至约34.2%，双臂AgileX约16.3%，UR5e和双臂Trossen各约13.7%，开放数据OXE Magic Soup提高到约9.1%，较小机器人数据的采样权重也得到相对提升。两张图的差异说明，作者没有按照原始数据量直接采样，而是利用 n0.43 权重压低超大数据集的支配作用，提高小型机器人和开放数据在训练中的可见度，以兼顾数据规模与跨机器人多样性。

（13）数据平衡与预训练

①预训练数据平衡

论文里说，他们的数据量并不均衡，例如洗衣折叠这类比较困难的任务数据明显更多，组合有个样本情况下，所以对每个“机器人-任务组合”按照来设置权重，而不是直接按样本数来决定它在训练中的占比。

例如，数据量扩大100倍：，权重只增加约7.2倍，而不是100倍。

由于指数小于1，大数据集的权重仍会增加，但增长速度明显变慢。这样可以防止洗衣折叠等大数据集完全支配训练。

②预训练数据的作用

互联网 VLM 预训练→π0 机器人预训练→下游任务后训练

预训练数据强调：

广泛任务；
不同质量；
不同机器人；
错误状态；
纠正和恢复行为。

它让模型“见得多”。

③后训练数据的作用

后训练数据强调：

动作流畅；
策略一致；
高成功率；
高质量专家行为。

它让模型“做得好”。

论文的核心观点是：

预训练教会模型知识、覆盖与恢复后训练教会模型怎样高效、稳定地完成目标任务

简单任务可能只需要约5小时后训练数据，而最复杂任务使用100小时以上。

第四部分：实验效果

（1）实验设计与评估框架：从基础能力到复杂任务适应

图6展示了预训练完成后、不经过任务专用后训练的基础π0所执行的五项任务。第一行是双臂衬衫折叠，要求将平铺的T恤折好；第二行是简单Bussing清理桌面，需要将餐具和垃圾分类放入正确容器；第三行是困难Bussing，物体数量更多、遮挡更严重，并包含预训练中没有出现的个别物体；第四行是食品装袋，需要识别并将多种食品放入购物袋；第五行是从烤面包机中取出面包并放到指定位置。这五项任务共同覆盖柔性物体操作、语义分类、密集场景抓取、多阶段动作和双臂协同，用于测试基础模型能否仅根据语言提示直接调用预训练能力。

（2）基础模型直接控制实验

比较方法包括：

完整π0，训练700k步；
π0-parity，训练160k步；
π0-small（不使用VLM，使用的是小型搭建transformer）；
OpenVLA；
只用UR5e数据训练的OpenVLA；
Octo。

主要结论是：

完整π0在五项任务上均达到最高结果；
衬衫折叠和简单Bussing接近满分；
即使只训练160k步的计算量对齐版本，也超过全部基线；
π0-small也普遍超过OpenVLA和Octo。

论文认为OpenVLA在这些任务上表现较弱的重要原因是：

离散动作自回归；
不原生支持动作块；
不适合高频连续控制。

Octo支持动作块，但模型容量和视觉语言语义能力弱于π0。

不过比较并非完全无争议：完整π0训练700k步，而OpenVLA为160k、Octo为320k。作者加入160k步的parity版本缓解了这一问题，但不同模型规模、初始化和训练实现仍然不可能完全等价。

图7比较了完整π0、计算量对齐版π0-parity、无VLM初始化的π0-small、OpenVLA、仅用UR5e数据训练的OpenVLA以及Octo。纵轴是平均任务进度，不是所有任务都采用简单成功或失败指标。完整π0在五项任务中均显著领先：衬衫折叠接近1.0，简单Bussing约0.97，困难Bussing约0.88，食品装袋约0.79，从烤面包机取面包约0.75。即使只训练160k步、与基线更新次数大致对齐的π0-parity，也在所有任务上超过OpenVLA和Octo；π0-small虽然明显弱于完整模型，但通常仍超过这些基线。结果说明，高容量VLM语义表示、动作块和Flow Matching连续动作生成的结合，对高频、双臂和长序列控制非常重要。不过完整π0训练700k步，基线训练步数和模型规模并不完全一致，因此最公平的证据主要来自parity版本，而不是只比较完整模型。

（3）语言理解与新任务微调实验

图8展示了语言能力评估使用的三项多阶段任务。第一行是Bussing，机器人需要根据语言指令识别当前应该拿起的物体，并将餐具放入收纳箱、将垃圾放入垃圾桶；第二行是Table Setting，机器人从容器中取出餐垫、盘子、餐具、杯子和餐巾，并按照中间语言指令摆放或调整；第三行是Grocery Bagging，机器人需要从多种食品中选择语言指定的物品并放入购物袋。每个完整任务由大量约2秒的语言标注片段组成，因此该实验不仅测试模型是否理解“清理桌面”这类总体命令，也测试它能否在长任务过程中持续执行“拿起某物—放到某处”等细粒度语言指令。

图9左侧比较π0与无VLM初始化的π0-small的语言跟随准确率。在Bussing、Grocery Bagging和Table Setting中，π0分别约为0.95、0.70和0.90，而π0-small约为0.70、0.31和0.30，说明互联网规模VLM预训练显著提高了机器人对物体名称、目标位置和中间语言指令的理解。右侧比较不同指令形式：Flat只提供总体任务命令，Human由人类专家持续给出中间子任务，HL由外部高层VLM自动产生中间命令。对完整π0而言，人类中间指令通常获得最高任务进度，高层VLM指令也普遍优于只给总体命令；而π0-small由于语言能力较弱，即使加入中间指令也难以稳定获益。因此，该图说明VLM预训练的作用不仅是增强视觉识别，还使低层机器人策略能够真正利用语言规划结果。

（4）新任务微调

图10展示了五项下游微调任务，并按照它们与预训练经验的相似程度形成由易到难的层次。第一行Stack Bowls要求将不同尺寸的碗依次堆叠，由于预训练Bussing任务已包含餐具抓取与搬运，因此较为接近预训练分布；第二行Towel Folding与预训练中的衬衫折叠相似，同样属于较容易迁移的任务；第三行Tupperware in Microwave要求打开微波炉、放入容器并关闭微波炉，其中容器操作较熟悉，但微波炉是未见物体；第四行Items in Drawer需要Franka打开抽屉、放入多个物体再关闭抽屉，该机器人—任务组合在预训练中缺少相似经验；第五行Paper Towel Replacement需要拆下旧纸芯并安装新纸卷，包含新的物体和动作模式，被划为困难任务。该图用于检验预训练能否从相似技能迁移到包含新物体、新机构和新运动模式的任务。

图11比较了使用1、5和10小时目标域数据时，预训练π0、从头训练的π0架构、Diffusion Policy、ACT、OpenVLA和Octo的任务进度。左上角综合结果显示，预训练π0在1小时数据时约达到0.57，明显高于从头训练约0.39和Diffusion Policy约0.2；使用5小时后，预训练π0提高到约0.86，10小时后维持相近水平。Paper Towel Replacement中，预训练模型在1小时数据时已约0.82，而scratch约0.38；Towel Folding中，5小时预训练模型接近满分，明显高于scratch约0.8；Stack Bowls中，预训练模型从1小时起就接近0.9以上。Items in Drawer中，预训练和scratch在5小时后都接近满分，说明该任务数据充足后预训练优势缩小；Tupperware任务中的曲线则并非严格单调，部分数据规模下scratch或其他方法与预训练模型相近。整体结论是，预训练通常显著提高小数据条件下的学习效率，但并不保证每个任务和每个数据量下都严格优于从头训练。

（5）复杂多阶段任务实验

图2展示了π0控制移动双臂机器人完成洗衣任务的连续过程：机器人首先移动到烘干机附近，从烘干机中取出衣物并放入洗衣篮，随后携带洗衣篮移动到折衣桌，再将衣物逐件取出、展开和折叠。该任务不仅包含双臂柔性物体操作，还同时涉及移动底盘控制、场景导航、衣物抓取、搬运、展开和折叠等多个阶段。论文用这一任务说明，π0不是只完成几秒钟的单次抓取，而能够以预训练模型为基础，通过高质量后训练执行持续数分钟、由大量子技能组成的长时程机器人任务。

图12展示了论文最困难的一组复杂任务。第一行是固定双臂机器人从随机皱缩状态开始取出并折叠衣物；第二行是移动双臂机器人完成衣物搬运和折叠；第三行是清理真实午餐桌，需要识别餐具与垃圾、处理遮挡并合理安排顺序；第四行是利用双臂折叠和支撑柔性纸板来组装纸箱；第五行是将易碎、易滑的鸡蛋逐个放入蛋盒并合上盒盖；第六行是将多种食品装入外带盒并用双臂闭合。它们需要组合抓取、搬运、折叠、压平、堆叠、分类和重试等数十种局部行为，同时处理柔性衣物、纸板、鸡蛋等复杂物理属性，因此比单次抓取或抽屉开启任务更能检验模型的长时程策略、双臂协调和错误恢复能力。

图13比较三种策略：完整的预训练后再微调模型、使用相同下游数据从头训练的模型，以及只使用预训练模型直接运行的Out-of-box模型。上图为论文标记为预训练中已有的任务：完整微调π0在洗衣折叠、桌面清理、移动洗衣和烘干机卸载中分别约达到0.83、0.89、0.93和0.72，均明显高于直接运行和多数scratch结果，说明预训练提供广泛基础，而高质量后训练使策略更加流畅和专门化。下图为预训练中没有的任务：完整模型在纸箱组装约0.64、外带盒约0.70、鸡蛋装盒约0.84，前两项明显高于scratch；但鸡蛋装盒中scratch约0.89，略高于预训练模型，说明跨任务预训练并非始终产生正迁移。总体而言，完整模型在所有复杂任务上都超过最大任务进度的50%，并在最困难任务中通常表现最好，但仍未达到稳定接近100%的可靠水平。

第二十部分：创新和引入下篇工作FAST

一、主要创新

创新1：首个高频Flow Matching VLA框架

将预训练VLM与连续Flow Matching动作生成结合：VLM语义+连续动作流

解决了此前VLA语言能力强但连续控制能力不足的问题。

创新2：独立动作专家

为机器人状态和动作提供一套独立但可与VLM交互的Transformer权重，使模型既保留VLM知识，又能学习机器人特有的连续表示。

创新3：50步高频动作块

一次生成50步动作，可用于最高50Hz的双臂和移动操作控制。

创新4：大规模跨具身数据

联合单臂、双臂、移动操作机器人，以及开放机器人数据和超过10000小时内部数据。

二、FAST的解决思路

原始 π₀：

VLM→Action Expert→Flow Matching→连续动作

它的思路是：

既然动作本来就是连续的，那我干脆别 token 化，直接生成连续动作。

而 π₀-FAST：

VLM→FAST Action Tokens→Autoregressive Prediction→Decode→连续动作