news 2026/10/4 3:26:33

别被室内基准高分骗了:大模型是在推理空间,还是在「背答案」?

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
别被室内基准高分骗了:大模型是在推理空间,还是在「背答案」?

中国科学院大学机器学习与感知实验室联合微软亚洲研究院以及苏黎世联邦理工大学共同发布了全新空间智能基准 OSI-Bench,从数据源头出发,基于自采开放世界中带有准确 3D 标注的视频数据,提供了对空间智能真正诊断的能力。

2025 年,随着李飞飞等学者将 “空间智能”(Spatial Intelligence)推向聚光灯下,这一领域迅速成为了大模型竞逐的新高地。通用大模型和各类专家模型纷纷在诸多室内空间推理基准上刷新 SOTA,似乎 AI 在训练中已经更好地读懂了三维空间。

然而,这背后存在着隐忧:由于带有准确 3D 标注数据的稀缺,模型训练所用数据(如 ScanNet++、ARKitScenes)往往与测试基准高度同源。这种数据的 “近亲繁殖” 让我们不得不担忧:近期模型分数的飙升,究竟是真正习得了空间几何推理能力,还是仅仅因为 “看多了” 类似的室内数据分布,从而学会了 “背答案”?

为了回答这个问题,中国科学院大学机器学习与感知实验室联合微软亚洲研究院以及苏黎世联邦理工大学共同发布了全新空间智能基准 OSI-Bench,从数据源头出发,基于自采开放世界中带有准确 3D 标注的视频数据,提供了对空间智能真正诊断的能力。由此出发,该工作重新审视了当前大模型的空间能力是否得到了发展。真正的空间智能鸿沟,或许无法在现有数据范式下仅靠简单的微调来填平。

  • 论文标题:From Indoor to Open World: Revealing the Spatial Reasoning Gap in MLLMs
  • 作者:Mingrui Wu, Zhaozhi Wang, Fangjinhua Wang, Jiaolong Yang, Marc Pollefeys, Tong Zhang
  • 论文地址:https://arxiv.org/abs/2512.19683
  • 项目主页:https://mingrui-wu.github.io/osi-bench
室内场景的局限

近年来,空间智能的研究大多聚焦于室内场景。这很大程度上受限于源数据集的匮乏 —— 少数可用的室外数据集往往基于自动驾驶视角,与第一人称的行人视角存在本质差异。

这种对室内数据的过度依赖,不仅导致了训练集与测试集的高度同源,更因室内场景过强的语义先验难以公平评估模型的空间感知和推理能力。

当我们在室内场景提问时(例如:“浴缸和马桶之间相距多远?”),模型往往能基于 “典型浴室布局” 的先验知识做出合理推测。即便关闭视觉输入,模型也能仅从语言信息 “盲猜” 对部分此类问题。

OSI-Bench 选择的室外开放世界的一个核心优势在于其复杂性与随机性。在这种环境下,语义先验变得微弱。面对 “告示牌和遮阳篷之间的距离是多远” 这样的问题,模型无法再仅凭语义关联获得正确答案,被迫回归到真正的视觉空间推理上来。这种对先验知识与视觉空间智能的解耦,使得 OSI-Bench 可以评估模型的真实空间能力。

从数据到问答

OSI-Bench 摒弃了从现有数据集二次提取的路径,完全基于由多传感器平台(双目相机、LiDAR、IMU/GPS)采集的原始视频流。这些数据自带精确的 3D 信息,覆盖了公园、步行街、古建筑、校园等丰富多样的开放世界场景。

我们的 Human-in-the-loop 流程从 20 小时的视频素材中生成约 9000 条高质量问答,涵盖 9 种任务。为了系统性评估模型能力,我们将这些任务划分为空间智能的三个层级:

1. 相对关系 :针对空间位置的定性判断

2. 静态尺度 :针对静态空间物理量的定量估算

3. 动态尺度 :引入时间维度的动态物理量估计

评测结果:我们离空间智能还有多遥远?

在 OSI-Bench 上的评测结果表明,当下的开源与闭源 SOTA 多模态大语言模型普遍在这些任务上失败了。

尽管 Gemini-2.5-Pro 在一众模型中取得了相对显著的优势,但整体表现仍远低于人类水平。然而,比低分更令人担忧的是,我们目前看到的所谓 “空间智能提升”,可能只是一场虚假的繁荣。

我们为此研究了在 2025 年发布新版本并报告在 VSI-Bench(室内基准)上取得巨大提升的两个模型家族:Qwen-VL 与 InternVL 系列。

这两个系列在加入更多空间数据训练后,其同尺寸新旧版本在 VSI-Bench 上的得分显著上升了约 24.1 分,性能几乎翻倍。然而,这种惊人的增长并未出现在同样考察空间推理的 OSI-Bench 上。

另外,结果显示,在绝对距离任务上,更新后的各尺寸模型在 VSI-Bench 上一致涨点,却在 OSI-Bench 上一致退步。由于两个基准在这一任务上采用的提问模版完全相同(仅场景不同),这提供了直接的证据:模型在室内基准上的分数提升,本质上是对特定场景分布的过拟合,而非真正习得了可泛化的空间智能。

我们正在经历的这场 “空间智能刷点狂潮”,或许只是空中楼阁。

语言先验:模型的捷径

当面对空间任务时,相比于费力地进行视觉几何推理,模型更倾向于走 “捷径”—— 利用语言先验知识,基于平均值进行猜测。

为了量化这一现象,我们设计了两组实验。

盲测实验结果显示,模型在有 / 无视觉输入的情况下的得分差距极小,视觉输入并没有被有效地在推理中使用。

我们构建了一组包含 “正常场景” 与 “反常场景”(物体尺寸被特意调整至违背常理)的合成数据。人类在面对反常场景时,空间判断力并未受太大影响;而模型在语言先验失效、常理不再适用的情况下,性能出现了断崖式下跌。

总结与展望

OSI-Bench 暴露了现有大模型在空间智能层面与实际应用需求之间的巨大鸿沟,更让我们对当前模型是否真正具备可泛化的空间能力提出了质疑。

我们呼唤一种全新的空间智能范式,相较于 />

因篇幅有限,仅展示部分资料,需要点击文章最下方名片即可前往获取

二、640套AI大模型报告合集

这套包含640份报告的合集,涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师,还是对AI大模型感兴趣的爱好者,这套报告合集都将为您提供宝贵的信息和启示

因篇幅有限,仅展示部分资料,需要点击文章最下方名片即可前往获取

三、AI大模型经典PDF籍

随着人工智能技术的飞速发展,AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型,如GPT-3、BERT、XLNet等,以其强大的语言理解和生成能力,正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。

因篇幅有限,仅展示部分资料,需要点击文章最下方名片即可前往获取

四、AI大模型商业化落地方案

作为普通人,入局大模型时代需要持续学习和实践,不断提高自己的技能和认知水平,同时也需要有责任感和伦理意识,为人工智能的健康发展贡献力量

版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/10/1 7:26:04

揭秘VSCode语言模型调试难题:3步快速定位与解决方法

第一章:揭秘VSCode语言模型调试难题:3步快速定位与解决方法 在使用VSCode进行语言模型开发或调试时,开发者常遇到断点不生效、变量无法查看、代码执行流程异常等问题。这些问题往往源于配置缺失、环境不匹配或调试器未正确加载。通过系统化的…

作者头像 李华
网站建设 2026/10/1 1:35:12

SGMICRO圣邦微 SGM3752YTN6G/TR SOT23 LED驱动

特性 输入电压范围:2.7V至5.5V 1:250稳定亮度调光 通过传导环路消除实现低EMI改进的PSRR,实现无波形照明 最高可达90%效率 开关频率:1.2MHz 集成40V/1.5A开关 反馈电压:200毫伏 PWM调光控制 38伏开路LED保护,适用于串联10个LED 自动软启动以减少浪涌电流…

作者头像 李华
网站建设 2026/10/1 12:28:36

树莓派pico外设寄存器编程:新手入门必看

树莓派Pico寄存器编程实战:从点亮LED开始深入硬件控制你有没有试过,只用几行C代码、不依赖任何库函数,直接“命令”树莓派Pico的GPIO引脚亮起板载LED?这不是魔法,而是每个嵌入式工程师都该掌握的基本功——外设寄存器编…

作者头像 李华
网站建设 2026/9/29 9:23:48

ISTA2A vs ASTM D4169 DC13:医药包装运输测试核心差异解析

医药行业的医疗器械、疫苗、生物制药等产品,对运输过程中的温湿度、振动、气压、冲击等环境极为敏感,包装运输测试直接关系产品安全性与合规性。ISTA2A与ASTM D4169-23e1中的DC13(航空陆运分销周期)是实验室高频测试标准&#xff…

作者头像 李华
网站建设 2026/9/30 9:43:06

PyCharm激活码永久破解?不如试试Qwen3Guard-Gen-8B防泄漏机制

Qwen3Guard-Gen-8B:用生成式AI构建真正“有认知”的内容安全防线 在大模型席卷各行各业的今天,我们见证了AI从“能说会写”到“辅助决策”的跃迁。但随之而来的问题也愈发尖锐:当一个智能客服开始输出歧视性言论,当企业知识库助手…

作者头像 李华