news 2026/6/5 10:49:28

视频理解+开放网络搜索=首个视频Deep Research评测基准

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
视频理解+开放网络搜索=首个视频Deep Research评测基准

来自QuantaAlpha、兰州大学、香港科技大学(广州)、北京大学等机构的研究者联合推出了首个视频深度研究(Video Deep Research)评测基准VideoDR。

在传统的视频问答(VideoQA)中,答案通常就在视频里。

然而,真正的智能Video Agent应该具备Deep Research的能力。

试想这样一个场景:你看到视频中博物馆的一个展品,想知道「该博物馆推荐的展品中,距离这个展品最近的那个,其注册编号是多少?」

这不仅仅需要理解视频(识别展品、定位位置),还需要跳出视频,去博物馆官网查找地图、推荐列表和编号信息。

论文链接:https://arxiv.org/abs/2601.06943

代码链接:https://github.com/QuantaAlpha/VideoDR-Benchmark

VideoDR (Video Deep Research) 正是为此而生,它定义了一个全新的任务范式:

  1. 多帧视觉线索:从多个视频帧中准确识别连续的关键信息进行推理。
  2. 交互式网络搜索:在浏览器环境中进行交互,执行多跳深度搜索。
  3. 多跳推理验证:结合视频线索和网络证据,提供可验证的事实性答案。

为了保证评测的含金量,VideoDR并没有采用自动化生成,而是进行了严格的人工标注与质检。

双重依赖性测试:剔除了那些「只看视频就能答」或「只搜文字就能答」的样本,确保模型必须结合两者能力。

六大领域覆盖:涵盖日常生活、经济、科技、文化、历史、地理。

Workflow vs. Agentic

研究人员对比了两种主流范式:

  • Workflow(工作流模式): 将视频转化为结构化文本线索,再进行搜索推理。
  • Agentic(代理模式): 模型直接端到端处理视频和搜索,自主决定何时搜索、何时思考。

评测模型:

  • 闭源模型: GPT-5.2, GPT-4o, Gemini-3-pro-preview
  • 开源模型: Qwen3-Omni-30B-a3b, InternVL3.5-14B, MiniCPM-V 4.5
核心发现与洞察

谁是目前的最强王者?

Gemini-3-pro-preview和GPT-5.2处于第一梯队,准确率达到了69%-76%左右,显著领先于其他模型。

Agentic 模式一定更强吗?

答案是:不一定。

虽然 Agentic 模式更灵活,但在长视频或高难度任务中,模型容易出现目标漂移(Goal Drift)。

  • Workflow 的优势: 显式的中间文本充当了「外部记忆」,防止模型在漫长的搜索链路中忘记最初视频里的视觉细节。
  • Agentic 的短板: 一旦初始的视觉感知出现偏差,且无法回看视频,错误的搜索路径会被不断放大。
长视频是「照妖镜」

在长视频场景下,模型保持长期一致性(Long-horizon Consistency)的能力成为瓶颈。

强如Gemini-3在Agentic模式下能利用长上下文获得提升,而部分开源模型在长视频下性能反而大幅下降。

总结

VideoDR将视频理解的战场从封闭测试集延伸到了无限的开放网络。

评测结果深刻揭示了「端到端」并非万能药:在面对长链路搜索时,模型往往会陷入「记忆衰退」的困境。

未来的视频 Agent 只有在保持视觉线索的长程一致性上取得突破,才能真正胜任真实世界的复杂调研任务。

版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/5/22 2:35:29

达梦v$lock视图查询事务锁

V$LOCK 是达梦数据库(DM Database)中一个核心的动态性能视图,用于实时监控和诊断数据库中的锁信息。它是数据库管理员和开发人员进行性能调优、解决阻塞和死锁问题的关键工具。一、视图概述V$LOCK 显示了当前数据库中所有活动的事务&#xff…

作者头像 李华
网站建设 2026/6/5 0:13:57

便捷二维码视频播放工具助力高效信息传播

便捷二维码视频播放工具是一种提升信息传播效率的新方式。用户可以快速生成二维码,将视频内容嵌入其中,实现简单快捷的分享。通过这一工具,用户能够在多种场合中高效传播信息,具体包括: 快速分享:用户可以…

作者头像 李华
网站建设 2026/5/29 18:26:37

便携式实时仿真综合测试仪

便携式实时仿真综合测试仪TesterRT 便携式实时仿真综合测试仪TesterRT具有信号接口齐全,易扩展,能够满足各装备领域的常规测试需求,适用于装备系统集成验证以及外场维护保障等场合。TesterRT通过其内置的测试软件能够快速实现数据激励、数据…

作者头像 李华
网站建设 2026/5/20 15:00:28

高实时性嵌入式系统半实物仿真测试平台

半实物仿真测试系统开发平台ETest_RT 1)产品简介 ETest_RT是一款高实时性嵌入式系统半实物仿真测试平台(Embedded Real-Time Testing System Studio RT,简称:ETest_RT),仿真步长可达微秒级,适合于航空航天…

作者头像 李华
网站建设 2026/6/1 19:23:15

计算极坐标平面内的加法

在模长和幅角可自由变换的极坐标平面内3点结构有3个 4点结构有6个 计算31 4((00|00)1)(110|110) (000|110) (000|000) (110|000) 3((00|11)1)(000|111) (110|110) (000|110) 3((11|00)1)(110|110) (110|000) (111|000) 结构(00|00)1可以得到4个4点结构。位置对应关系…

作者头像 李华