WorldExam：世界模型评测基准，拆解表观外观与固有反应性

World model（世界模型）这个词最近在 AI 圈子的出现频率明显变高。很多团队都在推自己的世界模型，有人强调视频预测，有人强调具身智能，也有人强调决策规划。但真正把“世界模型”当作一个需要系统评测的对象来设计基准测试的，其实还不算多。WorldExam 这个基准测试，核心切入点就是标题里那两组词：apparent appearance（表观外观）和 inherent reactivity（固有反应性）。它想解决的问题非常直接：一个模型如果只是把画面里的物体、纹理、颜色看得准，但不知道推一下杯子会倒、撒手会让重物掉下来、按下开关灯会亮，那它到底算不算理解了世界？WorldExam 要做的，就是把这两层能力拆开测，而不是丢一个总分数糊弄过去。

一句话讲完定位：WorldExam 是一个面向世界模型的评测基准，用来衡量模型从“看得懂画面”到“预测得到交互结果”之间的能力跨度。适合谁看？正在做世界模型、视频预测、具身智能、机器人决策的算法工程师和研究人员，以及准备用某个世界模型做下游任务选型的产品或平台团队。下面我会按评测设计、运行条件、指标解读、常见坑点、改进思路这几个维度拆一遍。

1. 先搞清楚：WorldExam 要测的“外观”和“反应”分别指什么

1.1 外观层：模型能不能读懂场景本身

外观层对应标题里的 apparent appearance。它评测的是模型对静态视觉信息的理解能力。场景里有哪些物体，物体是什么材质、什么颜色、什么形状，物体之间的相对位置和遮挡关系是什么，整体场景属于室内还是室外、厨房还是道路，这些都是外观层的考察点。

这类任务和传统视觉理解任务高度重合，包括图像分类、目标检测、语义分割、场景图生成、属性识别等。换句话说，外观层更像是一块“视觉地基”，先确认模型能不能把画面里的信息完整、准确地抽取出来。

1.2 反应层：模型能不能预测交互结果

反应层对应标题里的 inherent reactivity。它评测的是模型对世界动态规律的把握程度。给定一个状态，施加一个动作，模型需要回答世界接下来会怎样。典型例子是：一个球从桌边滚出，下一秒会不会掉到地上；拿手推一块积木，积木会往哪个方向移动；按下开关后灯是亮还是灭。

这层能力要求模型理解物理规律、物体间的相互作用以及动作与结果之间的因果关系。和外观层相比，反应层的难度更高，因为它不仅要“看见”，还要“脑补未来”，并且是在动作干预的前提下预测未来。外观层可以靠视觉编码器硬扛，反应层却必须把动作语义和环境动态真正对齐，否则很容易在合成场景或长时序任务上露馅。

1.3 为什么强行合成一个分数是危险的

如果只看到合并后的总分，很容易出现这种误判：一个模型外观得分 90，反应得分 40，另一个模型外观 65、反应 65，两者平均分都是 65，但它们在真实动态交互场景中的表现天差地别。前者在机器人操作、自动驾驶预测这类任务里基本不能用，后者各项能力均衡，更适合做通用场景支撑。

从我自己的评测经验来看，一份世界模型评测报告里最重要的部分不是总分排名，而是“分维度分数表”和“分场景分数表”。先看每类任务的单独得分，再决定模型用在哪个场景，这是使用这个基准最核心的态度。如果基准本身只提供一个总分，建议自己动手把结果按题目类型拆开统计。

1.4 这个基准更适合谁

以下几类人使用收益比较大：

• 做世界模型的算法团队，想定期验证模型能力是否增长，判断训练迭代方向是否有效。
• 做下游产品选型的技术负责人，需要对比不同世界模型或视觉语言模型在动态场景下的表现。
• 做数据采集和训练策略的研究者，需要定位模型到底缺哪类数据，从而决定下一批训练样本的采集重点。

如果你只是想找一个通用图像分类或目标检测基准，WorldExam 并不是最合适的选择。它的重心是“世界理解”和“交互反应”，不是纯粹的感知任务。这一点在开始之前就要想清楚，否则容易产生“模型怎么这都答不对”的错位评价。

2. 评测任务怎么设计：从静态理解到动态推理

2.1 外观层任务：输入输出形态

外观层任务的常见形态有三类。

• 场景理解题：给一张或一组图，判断场景类型、主体物体、物体属性。比如“图中场景属于什么类型”“桌面上有几个杯子”。
• 空间关系题：判断物体 A 和物体 B 的相对位置，例如“球是否在盒子里面”“椅子是否被桌子部分遮挡”。
• 异常识别题：在一组看起来相似的画面中，识别出不符合物理常识或场景常识的那一帧，比如悬浮在空中的杯子。

输入通常是一张 RGB 图片，或者从视频中抽出的关键帧。输出一般设计成多项选择、判断题或排序题。这样设计的原因是为了让评分尽量客观，减少开放式生成带来的歧义。如果允许自由文本回答，就必须额外处理语义等价和文字噪声，评分成本会高很多。

2.2 反应层任务：动作干预是核心

反应层任务的关键是“动作干预”。评测会给出当前状态和动作描述，让模型预测状态演变结果。常见形式包括：

• 动作结果选择题：物体从斜面滑下后是否会撞到障碍物，给出几个候选项，模型选出最合理的后续状态。
• 状态演变排序题：把多帧未来画面按真实时间顺序排列，考察模型是否理解变化方向。
• 多步反应题：先做一步动作，观察结果后再做下一步，考察模型是否能基于中间状态持续更新判断。

这一层评测要求模型能把“动作”这个变量真正用到预测过程中。如果一个模型只会把画面变化趋势概括成模式识别，而无法把动作语义和物理结果对应起来，它在反应层的分数不会高。比较典型的表现是：把“推”和“拉”混为一谈，或者对“碰撞后反弹”的幅度判断不准。

2.3 联合评测和分层评测的差异

WorldExam 这类基准通常提供两种跑法。

• 分层评测：先单独跑外观层，再单独跑反应层，各出各的分。
• 联合评测：把两类任务混合，按统一协议出综合报告。

我建议第一次跑的时候优先用分层评测。原因很简单：一旦混合评测分数不理想，你很难判断问题出在静态感知还是动态预测上。分完层之后，再跑联合评测，拿到整体对比数据，这时候总分才有解释空间。分层评测还能顺带输出每个子类的细项分数，对后续改进非常有帮助。

2.4 题目难度与数据清洗

基准测试的数据一般会做难度分层：简单题考察常识级外观或反应，中等题考察多物体和组合动作，较难题考察长时序和因果链。使用时要记得看题目难度分布。如果某一难度档的题目数量特别少，单档分数就会有很大波动，不能急着下结论说模型在该难度上强或弱。

数据清洗也是一个容易被忽略的环节。跑完评测后，最好抽查一部分题目，确认图片是否清晰、动作描述是否有歧义、标准答案是否唯一。因为基准数据也存在标注噪声，偶尔一两道题标错并不奇怪。遇到这种情况，建议在评测日志里记录题目 ID，后续重新处理时统一剔除或修正。

3. 跑基准前要准备的环境和输入条件

3.1 先确认评测协议的版本

这里要说明一点：WorldExam 的具体版本号、公开数据集规模、官方指标口径，原始材料里并没有给出统一结论。如果你准备使用这个基准，第一步应该是先确认拿到的是哪个版本，然后查看版本对应的 README 或评测说明。

这一步看起来很基础，但真的很多人跳过。不同版本的数据划分、题目数量和评分脚本可能完全不同，用旧模型的输出对接新评分脚本，很容易出现字段对不上或者指标口径不一致的情况。我在实操时会把评测协议版本写进项目根目录的配置文件中，避免换人接手后对不上。

3.2 资源需求：显存、内存和时间

评测世界模型，资源消耗主要来自三个方面。

• 视觉编码阶段：每道题都需要把图片或视频帧送入模型编码，产生 embedding。这部分吃显存和批量大小。
• 推理生成阶段：如果模型需要生成预测帧或推理链，耗时会显著增加，尤其是视频预测类模型。
• 评测后处理：对生成结果做格式清洗、对齐、评分，需要内存和 CPU 时间。

如果只是先试一小批样例，普通单卡基本够用。如果要跑全量评测，建议先看数据规模，估算单卡推理时长。我习惯的做法是：先用 1% 左右的子集跑通流程，记录单样本平均耗时，再乘上总量，判断是全量跑还是抽样跑。

评估阶段	主要资源	对速度的影响
视觉编码	显存、批量大小	批量越大越快，但显存不够会直接炸
生成预测	显存、计算时间	每帧生成耗时高，长序列容易超时
评分后处理	内存、CPU	题目量大时，解析和比对也会成为瓶颈

3.3 模型接口怎么接

接入评测通常有两种方式。

第一种是通过预测接口：模型接收输入数据，返回结果选项或生成文本，评测脚本再做匹配。这种方式最直观，和最终应用形态一致。

第二种是通过 embedding 接口：模型把视觉输入编码成向量，评测脚本在向量上做分类或相似度计算。这种方式更灵活，对模型的改动更小，但它有一个前提：模型输出的 embedding 空间必须是稳定的。如果你在评测过程中更新了模型权重，或者打开了随机增强，前后两次生成的向量可能不在同一分布里，对比就会失真。

3.4 先跑一条调试样例

不要上来就跑全量。我的建议是：

1. 选一道外观题和一道反应题。
2. 手动构造输入，确认接口字段能通过。
3. 跑一次评测脚本，确认输出被正确解析。
4. 人为制造一个错误答案，确认评分能正确判错。

这一步叫“测试评分脚本本身”。很多时候模型没问题，跑分很低的真正原因在于输出格式解析漏了字段、大小写不匹配、动作标签映射错了。先确认评测流程本身可靠，再谈模型能力，这个顺序不能乱。

3.5 数据目录和输出命名规范

评测的数据目录、中间结果目录、最终输出目录最好分开。全量测试时模型输出会很多，如果所有文件都堆在一个目录，后续清洗会很痛苦。我建议按题目 ID 命名输出，同时附一个运行配置文件，把模型路径、输入版本、参数设置、日期都记录下来。这样过两周回来看结果，还能对上号。

如果评测数据里有视频片段，建议把抽帧参数也记录下来，比如抽帧间隔、分辨率、是否做归一化。视频预测类模型对抽帧策略特别敏感，换个间隔可能就导致分数明显变化。

4. 核心指标怎么读：准确率之外还要看什么

4.1 外观层指标

外观层常用指标包括：

• 分类准确率：答案是否和标准答案一致。
• 多标签 F1：一道题可能涉及多个属性，只看准确率会忽略部分正确。
• 空间关系判定指标：比如交并比或者关系正确率。

只看一个准确率是不够的。如果一个模型把“物体颜色”全答对，但“物体数量”全答错，整体准确率可能还在 70% 上下，容易掩盖具体缺陷。建议每个细分类目单独看分数，尤其是物体属性、空间关系、异常检测这三类要分开统计。

4.2 反应层指标

反应层指标更复杂，常见的有：

• 预测结果准确率：动作造成的下一步状态是否选对。
• 排序正确率：多帧未来画面排序是否和真实顺序一致。
• 因果一致性：模型对正例和反例的判断是否稳定，比如“球从斜面上滑下”和“球被固定挡住”两个场景的区分度。
• 多步累积误差：让模型连续预测多步，看第 1 步、第 2 步、第 3 步的准确率衰减速度。

多步累积误差是我比较在意的指标。很多世界模型单步预测还行，多步预测几步之后就开始发散，这在反应层评测中会非常明显。如果你要用的场景是一次性预测，单步指标就够用；如果要做决策规划，就必须关注多步衰减。

4.3 合并分数和使用基线的陷阱

如果基准给出一个总分数，不要拿它与另一套完全不同的基准做横向对比。不同基准的数据分布、任务类型、评分口径差异很大，分数大小本身没有绝对意义。更重要的是和一个强基线对比，比如随机猜测、纯静态预测器（预测下一步等于当前帧）、以语言模型直接做视频理解的泛化模型等。

一个好的结果不仅是要“高于随机”，更要在每一类任务上稳定地高。如果你发现某个子类上模型分数只比随机高一点点，那这个子类基本可以确定为模型能力的短板。这个短板在基准报告里可能只有两三行，到了真实场景里就会被放大成无法使用的问题。

4.4 抽样稳定性

评测全量数据通常成本较高。如果采用抽样评测，要控制随机种子，并且跑两三次看波动。如果某个子类的样本量只有几十条，分数波动 10 个百分点都很正常。不要因为单次分数变化就断定模型有改进或退化，先确认样本量和波动范围再下结论。

更稳妥的做法是：先确定子类的最小样本量阈值，低于阈值的子类不单独展示分数，只在宏观报告里汇总。这样能避免小样本带来的虚假高分或虚假低分。

5. 实测中常见的翻车点和排查顺序

5.1 输入分辨率与训练分布不一致

世界模型对输入分辨率比较敏感。如果基准题目的图片分辨率和模型训练时的分辨率不一致，模型可能产生大量识别混乱。比如训练时用 224x224，评测时给 512x512 的图，物体比例和感受野变化会直接影响外观层表现。

排查方法：记录模型实际接收到的输入尺寸，对比训练配置。如果是多尺度训练，也要确认预处理逻辑是否导致尺寸变化。不要把注意力全放在模型参数量上，很多时候问题就出在最简单的尺寸对齐上。

5.2 动作空间理解错误

反应层评测里非常常见的问题是动作标签映射错误。基准里可能用“push”“pull”“grasp”这类动词，而模型内部的动作概念可能是另一个离散化空间。如果映射错位，模型把“推”理解成了“拉”，结果自然不对。

排查方法：把每个动作标签对应的示例样本打印出来，人工确认模型是否能区分开。不要只检查文字描述，要看实际效果。如果模型用的是连续动作向量，还要确认基准给的离散动作是否经过正确映射，这一步很容易出低级事故。

5.3 输出格式和评分脚本不匹配

这是启动阶段最常踩的坑。模型返回的是“A/B/C/D”还是“选项编号+文字”、是否包含多余前缀、答案在 JSON 的哪个字段，都会影响评分。看起来像是模型答得差，实际是解析环节丢分了。

排查方法：先跑一个规则简单的题目，把评测脚本的中间解析结果打印出来，对比模型原始输出。一旦发现字段错位，先修解析逻辑，再重新评测，不要拿这份脏数据去分析模型能力。

5.4 模型随机性和评测可复现性

生成式模型默认可能有随机采样，导致同一道题跑两次结果不一样。如果是这样，评测前必须把随机种子固定，或者改用确定性解码策略。如果随机种子无法完全控制，就需要多次运行取平均。

这里给出一个常用排查顺序：

1. 看现象：分数异常低、某一道题反复判错、还是整体分数抖动。
2. 看输入：图片是否正常读取、动作标签是否映射正确、是否有空数据。
3. 看解析：模型输出和评分脚本字段是否对齐。
4. 看环境：依赖版本、随机种子、批处理时是否串数据。
5. 看模型：分维度对比，确认是整体能力不足还是特定任务短板。

这五步按顺序走，基本能筛掉九成以上“假异常”。不要一上来就调模型，先把流程和输入确认干净。

5.5 并发和批量处理时的隐性 bug

如果你写了一个并发评测脚本，要注意批量数据是否按题目 ID 对齐。我见过一个案例：并发请求返回后直接按完成顺序拼接结果，导致题目 ID 和答案错位，最后整体分数低了十几个点。处理这种问题的办法是，每个请求都带上题目 ID，返回后先按 ID 重新排序再做评分。

症状	优先排查	次优先排查
全部题目分数接近随机	输入读取、标签映射	评分脚本字段
某一类题目稳定出错	该类题目难度分布	该类动作标签定义
同题不同次结果不一致	随机种子、采样策略	模型权重更新
分数明显低于预期	分辨率与训练分布	输出解析
并发跑完分数错乱	题目 ID 对齐	并发批处理逻辑

6. 怎么把基准结果变成模型改进线索

6.1 分维度看差距，而不是只盯排名

先拿到分维度分数表，然后按以下方式拆解。

• 外观得分高、反应得分低：模型缺动态推理数据，需要补物理交互类训练样本，比如推拉、碰撞、掉落、液体变化等场景。
• 外观得分低、反应得分高：说明模型对静态特征抽取不够，可能是视觉编码器偏弱，或者训练分辨率不够，也可能是图像预处理过强丢失了细节。
• 两类都低：先看是不是评测接入有问题，再考虑模型整体能力不足。
• 两类都高但在某个子类偏低：定位到具体子类，收集对应场景的困难样本。

这个拆解过程不复杂，但能直接决定下一步工作是改数据、改模型还是改评测接口。省掉这一步直接去看总榜，容易把方向带偏。

6.2 对错误样本做聚类

不要只看分数，把答错的题目拉出来，人工看一遍，通常能归纳出几类错误：物体间遮挡判断失败、动作结果混淆、长时序后状态发散、小物体漏检等。这些错误类型就是最有价值的改进信号。

比如我发现某个模型经常在“杯子倒水后水位变化”这类题上出错，那就说明模型对液体类变形物体的动态理解比较弱。后续可以通过补充液体交互视频，或者在数据增强中加入更多变形物体样本来改进。如果没有错误聚类这一步，你可能只会得到一句“反应层分数偏低”，对下一步怎么做毫无帮助。

6.3 评测与训练数据形成闭环

一个成熟的流程是：

1. 阶段一：用基准跑出基线和错误聚类。
2. 阶段二：针对错误类型补充数据或调整训练策略。
3. 阶段三：重新跑同一版本基准，看同类错误是否下降。

注意中间不要换评测版本和评分脚本，否则前后结果不可比。如果你在同一周内既换了训练数据又改了评测代码，最后分数上升也说不清楚是哪个改动生效。版本控制在这里不是仪式感，是所有结论可信的前提。

6.4 对选型团队的额外建议

如果你是在做技术选型，建议连续跑三次评测，取中位数，并记录每次的波动范围。不要因为一次高分就选用某个模型。要把基准结果和你实际业务场景的小样本数据集结合起来看。基准分数高不等于在业务场景上一定好用，但基准分数全面低，通常意味着模型基础能力有缺口，靠业务数据微调也未必能补上。

我个人更建议把 WorldExam 当作一块“能力仪表盘”，而不是一个用来证明“我的模型天下第一”的排行榜。先用分层评测跑出外观和反应各自的水平，再针对短板改进，这才是这个基准最务实的用法。跑基准本身不难，真正难的是分清楚：哪一层的低分是模型能力不足，哪一层的低分只是你的输入、解析或环境没对好。把这一步走稳，后续的模型迭代和选型判断都会省不少力气。