GLaQ 用「视觉检索」取代自回归潜态：5 项细粒度视觉基准平均提升 5.99%-9.66%
这篇论文提出一种让多模态模型在推理时直接「检索」原始图像证据的新方法，取代过去靠自回归潜态一路「想下去」的做法，在 5 项细粒度视觉理解基准上平均提升 5.99% 到 9.66%，并在所有对比的视觉潜态推理方法中排第一。方法名叫 GLaQ，取自 Grounding Latent Queries，接地潜查询。
多模态大模型已经从图像加文字的混合输入里完成不少推理任务。但有一个老问题一直没解决干净：模型在推理时，视觉细节会被「翻译」成文字，而文字是有损的。论文瞄准的正是这个瓶颈。
一、多模态推理的瓶颈：细粒度视觉证据留不住
思维链（Chain-of-Thought）大幅提升了多模态大模型的问题求解能力。模型先写一段中间推理，再给出答案。问题在于，这段中间推理是文字，而图片里的很多关键证据是「只能看、很难说」的：一只猫的耳朵位置、两块砖之间的缝隙、图表里某个数据点的确切坐标。当模型把这些视觉细节压缩进文字理由里，细节就丢了，论文把这称为信息瓶颈。
你让模型描述一张零件图，它可以写「左上角有一个缺口」，但模型在后续推理里真正要用的是「缺口到底多大、边缘长什么样」这类像素级信息，文字描述撑不住。越是细粒度的视觉理解任务，这个瓶颈越致命。
二、两条老路：外部工具与自回归潜态
为了绕开文字瓶颈，之前的研究走了两条路，各有各的代价。
第一条路叫「带着图像思考」（thinking-with-images）：推理过程中不把图像只当成一次性输入，而是允许模型反复访问图像，做裁剪、放大、画标注等操作。这样每一步推理都能重新「看到」新鲜证据。代价是要预先定义一堆工具，推理时还要额外处理图像，流程重、开销大。
第二条路叫「连续视觉潜态推理」（continuous visual latent reasoning）：把中间推理放到模型的隐藏状态里，不写成文字，用一个紧凑的潜向量序列携带视觉语义。这条路保留了图像的连续信息，看起来很美。但它有一个隐藏的毛病：潜态序列是按自回归方式逐个生成的，每个潜态都依赖前一个，这跟语言生成是同一套逻辑，可视觉证据并不适合这么排队。
论文用相似度图证明了这个问题：自回归生成的潜态越往后越像，形成一大块高相似区域。也就是说，后面的潜态在重复前面已经有的内容，而不是补充新的视觉细节。潜态序列越长，重复越多，信息增益越少，这就是「想下去」的边际收益递减。
三、GLaQ 的做法：接地潜查询
GLaQ 的思路是把「持续想下去」改成「按需查一次」。它用一个固定大小的查询块，每个查询都直接「接地」在原始图像的视觉 token 上。也就是说，模型不是用一个自回归链去推演潜态，而是用一组上下文条件化后的查询，去原始视觉表征里做一次集中的、协调的检索，再把检索结果注入回生成阶段。
这句话有点绕，可以打个比方。自回归潜态就像一个人闭着眼睛在心里默背清单，背到后面全是重复；GLaQ 像一个人睁开眼睛直接看黑板，需要什么信息，就派一个查询去看一眼。查询块是固定容量的，所以额外开销是「有界」的：不管图像多大、任务多长，接地检索的成本不会随着潜态数量无限增长，这一点正好治了自回归潜态「越长越贵」的病。
更关键的是，因为查询直接对接原始视觉 token，GLaQ 保留了整张图的完整上下文，不需要外部视觉操作，也不需要反复处理图像。论文把这种设计称为以接地换取补充：潜态之间不再需要互相传递信息，每个查询都直接从源头拿。
四、训练：局部视图自蒸馏加 DePO 强化学习
光有架构还不够，GLaQ 的训练用了两段式，每一段解决一个具体问题。
第一段是局部视图监督配合自蒸馏。为了让查询学会「检索有用的地方」，训练时先给模型看图像的局部特写（ROI 视图），让查询在特写上学会关注哪些区域，再把这份「注意力」蒸馏回全图通路。论文把它称为潜查询自蒸馏：局部视图的监督信号，被转移到全图推理路径上，从而让全图推理也具备细粒度定位能力。
第二段是强化学习。论文用 DePO，一种在任务级奖励下的策略优化方法，同时优化两类动作：一类是文字 token 的生成，一类是接地查询的取舍。消融实验显示，在同样的训练数据、奖励和 rollout 设置下，只做文字 token 的 GRPO 优化已经能带来实质提升，而 DePO 在这个基础上再提升 0.52% 到 1.37%。这证明接地查询不是被动地放在那里，而是可以当作可优化的潜动作，接受任务级反馈来不断改进。
五、实验结果：5 项基准全涨，吞吐还更快
GLaQ 以 Qwen2.5-VL-7B 为骨干，在 5 项细粒度视觉理解与感知基准上做了评测。结果是：较基座模型平均提升 5.99% 到 9.66%，在所有对比的视觉潜态推理方法中排名第一。
拿最难的 V基准看，GLaQ 较基座提升 8.90 个点，同时端到端吞吐提升 7.62%。与另外两个代表方法对比，V准确率较 DeepEyes 高 2.09 个点、较 HyLaR 高 4.19 个点；吞吐较 DeepEyes 高 20.11%、较 HyLaR 高 5.70%。换句话说，GLaQ 不是拿准确率换速度，而是准确率更高、速度也更快，把「准确性到效率」的前沿同时往前推。
| 推理范式 | 视觉证据如何访问 | 推理时额外开销 | 信息冗余情况 |
|---|---|---|---|
| 外部工具（带着图像思考） | 裁剪、缩放、标注，反复处理图像 | 需要预定义工具，流程重 | 低，但代价高 |
| 自回归潜态 | 潜态之间顺序传递 | 随潜态数量增长 | 后期状态重复，信息增益递减 |
| GLaQ 接地潜查询 | 查询直接检索原始视觉 token | 固定容量，开销有界 | 查询互补，无重复链 |
论文还单独验证了「接地」本身的价值：控制变量下，正是「潜查询重新获得对源 token 的直接访问」和「固定容量块内保持协调」这两点带来了全部提升。这指向一个明确结论：显式的源图像接地，可以替代自回归潜态构造，成为连续视觉推理的一种新范式。
六、意义与局限
GLaQ 的意义有两层。第一层是效率：它证明视觉推理不必依赖越来越长的自回归潜态链，固定容量的接地查询块就能做到更高准确率，而且开销有界，这让长上下文多模态推理在工程上更可控。第二层是研究范式：它把「连续潜态推理」从「按语言逻辑排队」拉回到「按视觉证据组织」，源图像接地成为可解释、可优化的对象，为后续工作打开了空间。
局限同样明显。论文只在一个 7B 骨干上做了评测，模型规模扩展后接地查询的收益是否保持，还没验证。查询块是固定容量的，任务复杂度变化时可能不够灵活。训练依赖辅助的局部视图监督，如果能把对这种监督的依赖降下来，方法会更实用。论文把这些都列进了未来方向：模型规模扩展、自适应查询分配、以及减少对局部视图的依赖。
对做多模态研究的人来说，这篇论文值得记住一句话：视觉推理的连续性，不一定要靠「接着上一个想」，也可以靠「直接看源头」。
