news 2026/9/30 2:46:07

用于机器人学习与控制的世界-动作模型:综述

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
用于机器人学习与控制的世界-动作模型:综述

26年9月来自阿联酋 MBZUAI 、加州理工、亚马逊公司FAR、维吉尼亚大学、乔治亚理工、纽约大学和加州伯克利分校的论文“World-Action Models for Robot Learning and Control: A Survey”。

这篇论文的核心观点是:机器人不仅需要知道“下一步做什么”,还需要预测“这样做会带来什么后果”,并将这种预测转化为可执行、可纠错的动作。 世界-动作模型(World-Action Models,WAMs)正是围绕这一连接展开。

论文的主要价值是建立了一套较完整的技术分类框架;主要不足是概念边界仍有摇摆、缺少统一的实证比较,而且存在可直接核对的引用错误。下面先概述论文,再提炼要点,最后分别讨论领域挑战与综述自身的问题。


一、论文试图回答什么问题?

论文从机器人在开放环境中的困难出发:观测不完整、物理交互复杂、任务持续时间长,而且局部正确的动作可能破坏后续目标。

例如,机器人要把杯子放进柜子,直接生成“抓取杯子”的动作还不够。它需要考虑抓取姿态是否妨碍放入、柜门是否挡住路径,以及杯子被遮挡后如何继续判断状态。

作者认为,现有研究分别解决了这个问题的一部分:

因此,论文真正关注的是:
未来预测如何参与动作学习和决策,并最终改善机器人实际执行?
这比“机器人能否生成未来视频”更接近整篇综述的研究对象。(第1—3页)

如图 1 是世界动作模型的演化:

二、论文的详细内容与技术框架

  1. 概念基础:从单独预测或控制,走向联合建模

论文以部分可观测马尔可夫决策过程作为背景,并区分三种基本映射:
世界模型:当前状态与动作 → 下一状态。
VLA:历史观测与语言指令 → 动作序列。
WAM:历史观测与语言指令 → 未来观测与动作序列。

为便于理解,可以将其统一写为:

p(O_future, A_future |h, e)

其中,h是交互历史,e是语言指令。

这里的“未来”不必是完整视频,也可以是潜在特征、三维结构、目标状态或其他与控制有关的表示。

论文进一步提炼出四项能力:

这是全文最有用的概念框架之一:不同方法的差异,可以理解为重点学习了其中哪些能力,以及这些能力如何连接。(第3—4页)

如图 2 所示世界模型(WAM)背后四个基础思路的概念概述:(a)世界模型通过预测当前状态和动作来学习潜动态;(b)视频生成模型根据视觉历史和语言指令预测未来的视觉观察结果;(c)潜动作预训练从连续帧中推断潜动作,并用它们来建模潜转换;(d)视频生成模型(VLA)直接从状态和语言指令生成未来动作序列。(第三行插图改编自各思路中引用的相应论文。)

  1. 两种核心路线:联合预测与先规划后行动

第一种是联合预测:在共享的建模过程中生成未来观测

版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/9/30 2:45:32

ret2csu

上一篇的文章说的ret2libc的用法,在当时,我们没法控制rdx,所以用的是输出byebye延续下来的 rdx6,现在把byebye改成bye,这样延续下来的rdx就是3了,没法泄露全部的got表里的真实地址了,此时我们可…

作者头像 李华
网站建设 2026/9/30 2:44:08

mysql-26.7.0-linux26.7.0下载安装

mysql-26.7.0-linux26.7.0下载 开篇简介 本文将为您提供 mysql-26.7.0-linux26.7.0 的下载与使用说明,请通过以下百度网盘链接获取资源。 资源信息 资源名称:mysql-26.7.0-linux版本:26.7.0 -下载地址: https://pan.baidu.com/s/1…

作者头像 李华
网站建设 2026/9/30 2:44:03

Salesforce:精准定位多轮工具调用训练步骤

📖标题:Critical-State RL: Diagnosing Trainable States for Multi-Turn Tool Use 🌐来源:arXiv, 2609.24985v1 🛎️文章简介 🔸研究问题:在多轮工具使用任务中,如果最终结果失败&a…

作者头像 李华
网站建设 2026/9/30 2:43:49

Vue 与 React 响应式原理深度对比:从实现机制到实战选型

一、什么是响应式?响应式的本质是一句话:数据变了,用到这个数据的地方自动更新。听起来简单,但要实现它,需要解决三个问题:如何知道数据变了?(数据劫持 / 手动触发)如何知…

作者头像 李华