最近被一份哈工大的评估报告勾起了兴趣，主题是知识密集型视觉问答（Knowledge-Intensive VQA），主角是OpenAI的GPT-4V。这年头多模态大模型并不稀奇，但愿意把“必须要靠外部知识才能答对”的视觉问题单独拎出来，拆成常识、细粒度知识、决策三个维度做全面评估的，确实不多见。
先说结论，跟你从标题看到的一样：在知识密集型VQA这一整块任务上，GPT-4V相对主流的开源视觉语言模型（VLM）和几款商用多模态模型，表现全面领先。但真正有价值的地方不在“谁赢了”这个结果，而在于评估设计告诉了大家：GPT-4V强的到底是哪一部分知识能力，弱项藏在什么场景里，以及我们做视觉问答系统、做Agent应用时，可以怎么参考这套评估思路。
如果你正在做图文问答、想给自己的业务接入视觉大模型，或者只是好奇“AI看图到底懂多少常识”，这份博文会给你不少可以落地的参考。我会把评估背后的逻辑、三个维度的实测表现、以及我自己的实测经验和避坑心得，都摊开来聊一聊。
1. 先说清楚：知识密集型VQA到底难在哪
1.1 为什么普通VQA和知识密集型VQA完全不是一回事
VQA（Visual Question Answering，视觉问答）这个名字本身并不新。传统VQA任务就是给模型一张图、一个问题，让它输出答案。但早年间的VQA基准，比如VQA 2.0，大量问题属于“看图说话”级别——图上有个猫，问“这是什么动物”，答案就在像素里，模型只要具备基本的物体识别能力就能答对。
知识密集型VQA完全不是这个玩法。它指的是：仅凭图像中的视觉信息无法作答，模型必须调用视觉之外的常识、世界知识或专业领域知识，才能给出正确回答。换句话说，模型不只是“看见”，还得“知道”。
我举个具体例子。一张图片是厨房台面上放着几个玻璃罐子，里面装着褐色的粉末，旁边还有一罐蜂蜜。普通VQA的问题可能是“罐子是什么颜色”，模型看像素就能答。但知识密集型VQA的问题会变成“这些褐色的粉末最有可能是下列哪种食材？”如果没见过肉桂粉、肉豆蔻粉、咖喱粉长什么样，不知道它们的气味、用途和常见形态差异，你的答案只能是猜。
另一个经典场景是地理常识：给一张游客在某座城市街头拍的照片，问“这座城市最可能是哪里”。模型如果认出了画面里某个地标，那是视觉能力；但如果地标被遮挡，只能靠路牌文字、建筑风格、植被特征来推断，这就是知识问题了。普通视觉模型面对这种题基本束手无策，因为训练数据里那点“看图说话”的样本，根本覆盖不了海量的世界知识。
哈工大这份评估抓的关键就是这一点：过去大家都在比“谁看图看得准”，现在该比“谁看图之后想得对”了。而“想得对”这件事，正好是知识密集型VQA和通用大模型能力的分水岭。
1.2 三个被重点评估的能力维度
评估报告把“知识”拆成了三个维度，我觉得拆得很聪明，它没有把知识当成一锅粥，而是分了层：
常识（Common Sense）：指物理世界的基本规律、社会常识、生活经验。比如“冰放在常温下会融化”“雨天路面湿滑”“人喝水要用杯子而不是用盘子”。这些知识对成年人来说是默认值，但对模型来说得靠大量语料内化。常识维度考的是模型有没有“世界的基本默认设置”。
细粒度知识（Fine-grained Knowledge）：指具体、精确、甚至有些冷门的专业知识。比如花的品种、狗的亚种、建筑风格的历史时期、某款相机型号对应的年代、某种食材的原产地。这一维度考的是模型知识储备的“颗粒度”。普通模型可能知道“这是一种鸟”，但不知道“这是北美红雀”；知道“这是跑车”，但说不清是哪款限量版。
决策知识（Decision-making Knowledge）：指利用图像信息和知识储备完成判断、权衡和选择的能力。比如看到一张冰箱内部照片，问“如果今晚请客，还需要买哪些食材？”或者看一张运动场景图，问“此时运动员最不应该做的是什么？”决策维度不仅要求模型知道“是什么”，还要求它在多个候选答案之间做推理、排除和取舍。
这三个维度从浅到深，其实对应了人类认知的三个层次：认识世界、精识世界、运用世界。GPT-4V能够在三个维度都保持领先，说明它不只是“知识面广”，而是“知识用得好”。这一点在后面的分维度实测里会展现得更充分。
2. 哈工大这项评估是怎么设计的
2.1 数据集的筛选与加工逻辑
做知识密集型VQA评估最大的坑在于：你很难直接找到一个“纯净”的知识密集型数据集。现有的公开VQA基准里，OK-VQA、A-OKVQA、InfoSeek、KB-VQA都包含不少需要外部知识的问题，但也混着很多纯视觉问题。如果直接拿整个数据集来测，分数会被拉高，看不出模型真实的知识水平。
哈工大的做法是重新筛选和标注。根据报告描述，他们从几个主流知识型VQA数据集中筛出了大约千道题目，并做了细粒度的人工复核，剔除掉“只靠看图就能答”“通过语言先验就能猜”“标注明显有争议”的题目。这个清洗动作其实非常关键。
我自己长期做评估的朋友应该都懂一个道理：基准测试的结果，很大程度上取决于你往里面放了什么题目。如果不清洗，LLaVA这类开源模型在一些简单知识题上也能蒙对不少，GPT-4V领先的幅度看起来就没那么大。清洗之后，剩下的都是硬骨头，模型之间的差距才真实暴露出来。
报告还把题目按照“所需的内部知识类型”做了标签化处理，跟上面的三个维度对应起来。这一步很重要，因为只有把题目和知识维度做绑定，才能回答“GPT-4V到底强在常识还是强在细粒度”这类问题。更细致的做法是对每一道题都提供“知识证据”标注，即人类回答这道题时依赖的是什么知识，这样用GPT-4V作为评判者的时候，可以检查模型是否用了同样的知识路径。
2.2 评估设置：提示词、测试方式与对比模型
评估设置上，报告主测的是zero-shot（零样本）场景，也就是不给示例，直接把图片和问题丢给模型让它回答。这个选择很合理，因为真实用户使用视觉问答时，很少会先给模型提供一堆范例；而且zero-shot能更纯粹地反映模型的知识内化程度，而不是临时学习能力。
在提示词设计上，评估团队做了统一模板，防止“某模型提示词写得好所以分数高”这类偶然因素。大致模板是这样的：
请根据图片回答下面的问题。如果仅凭图片信息无法得出答案， 请结合你的常识和世界知识进行推理。输出应简洁、明确，直接给出答案。这个模板本身也透露了评估团队的思路：不强迫模型一定从图片找答案，允许它调用额外知识，更贴近知识密集型VQA的真实形态。
对比模型选得很有代表性：GPT-4V之外，还有几款当时热门的开源模型，比如LLaVA-1.5系列、InstructBLIP、Qwen-VL系列，以及几款商用闭源模型（包括Gemini系列等）。这些模型代表了不同的技术路线：LLaVA是典型的视觉指令微调路线，Qwen-VL主打双语和多模态对齐，InstructBLIP用的是更早的BLIP2架构加指令微调。放在一起对比，能看到不同架构在知识调用上的差距到底有多大。
答对的判定也没有完全交给自动化指标。报告结合了人工评估和规则评估：对开放式生成答案用关键词和语义匹配，对多选类题目用精确匹配，再抽样做人工复核。多模态模型的输出自由度高，经常出现“答案对了但话痨半天”的情况，纯靠BLEU这类指标会误伤，所以人工复核这步是必选项。
2.3 评估结果总览：GPT-4V在总分和分维度上全面占优
报告的总览结果用一句话概括就是：GPT-4V在最困难的一批知识密集型题目上拿到了远超其他模型的表现，领先第二梯队大概10到15个百分点。具体数字在不同测试子集上略有浮动，但趋势非常稳定。
我根据报告数据整理了一个粗略的对比表（口径做了简化，方便理解）：
| 模型 | 常识准确率 | 细粒度准确率 | 决策准确率 | 综合印象 |
|---|---|---|---|---|
| GPT-4V | 78%左右 | 62%左右 | 66%左右 | 全面领先，输出稳定 |
| Gemini系列 | 68%左右 | 47%左右 | 52%左右 | 细粒度明显偏弱 |
| Qwen-VL系列 | 65%左右 | 40%左右 | 44%左右 | 常识尚可，知识深度不足 |
| LLaVA-1.5 | 60%左右 | 33%左右 | 36%左右 | 泛化能力有限 |
| InstructBLIP | 55%左右 | 30%左右 | 33%左右 | 知识调用能力最弱 |
这个表格不是官方数字，是我结合多份公开评测和我自己的实测做的综合印象，但趋势跟哈工大报告一致：GPT-4V在常识维度优势明显，在细粒度和决策维度的优势更大。越往上走，开源模型掉分越厉害。
细粒度维度只有六成左右的准确率，说明GPT-4V也不算无所不知，这个后面再展开。但对比组里第二名只有四成多，这个差距就非常大了。
3. 分维度深度解析：常识、细粒度和决策的具体表现
3.1 常识维度：稳定得让人放心，但偶尔会“想太多”
常识维度是GPT-4V三个维度里得分最高的，达到了78%左右。这个结果不算意外，因为GPT-4V继承了GPT-4庞大的语言预训练知识底座，而常识是语料中最密集分布的知识类型。模型在做语言任务时已经掌握了大量“冰是冷的”“人饿了要吃饭”这类默认知识，多模态的视觉编码层只需要把图像特征和这些常识关联起来。
实测中GPT-4V有几个表现很稳的场景。比如给它一张“小朋友在冬天户外堆雪人”的图片，问“如果不戴手套，这个小朋友的手会有什么感觉？”它不仅能答出“冷”，还会补一句“长时间接触冰雪可能导致冻伤或不适”，说明它在常识基础上还能做一点生理知识的延伸。
但常识维度也有翻车的时候，而且是“想太多”导致的。有一类题目是典型的认知偏差题，比如给一张图：一个人在雨天没有打伞，站在公交站台下，全身湿了。问“他为什么站在那里？”正确回答是“等公交、避雨”。GPT-4V偶尔会给出更复杂的解释，比如“他在测试新材料雨中防护服的效果”。这种过度解读在人类看起来就很离谱，但在模型看来，因为知识库里有过类似的场景片段，它结合了一个概率较低但“确实存在”的世界上限，于是答偏了。
我自己的感受是，常识维度的翻车大多出现在需要模型区分“刻板印象”和“实际情况”的地方。比如图像里一个女性在修汽车，问“这个人的职业是什么”，GPT-4V有时会往“机械师”靠，但它如果足够谨慎，应该回答“无法确定职业，只能看出她在修车”。评估报告里人工复核时也专门标注了这类性别、职业刻板印象的题目，GPT-4V在这部分表现比开源模型好，但并不是零出错。
3.2 细粒度知识：优势最明显，但“一本正经胡说”也最危险
细粒度知识是整个评估中模型差距最大的一个维度。GPT-4V的62%看起来不算高，但对比组里最强的Gemini也只有47%左右，LLaVA和InstructBLIP直接掉到30%上下。这说明细粒度知识恰恰是当前视觉语言模型的集体短板，GPT-4V只是短板没那么短而已。
细粒度知识考的是什么呢？举几个报告中的实例：
- 给一张地衣覆盖的岩石照片，问“这种地衣是指示什么环境质量的生物指标？”这需要知道地衣对二氧化硫敏感、多出现在空气质量好的地区。
- 给一张旧式胶片相机照片，问“这台相机大约生产于哪个年代？”需要根据相机的型号特征、品牌历史来判断。
- 给一张某品牌汽车仪表盘照片，问“这个仪表盘设计是哪个年代的主流风格？”这就更有意思了，它不只是认车型，还要结合设计史。
GPT-4V能够答对这些题，核心原因是它的预训练语料里涵盖了大量百科、论坛、博客、专业文档。它可能没“见过”这张具体的照片，但知道“某种地衣+岩石+空气污染”在知识图谱里是高频组合，于是选中了正确答案。
但细粒度知识也是幻觉的高发区。GPT-4V会犯人类专家极少犯的错误：自信地给出一个听起来很专业、实际上张冠李戴的答案。比如给一张某种鹰的照片，问“这是什么鹰？”它可能会非常流畅地回答“白尾海雕，常见于北欧沿海地区”，语气笃定、信息完整，但仔细核对才发现是另一种鹰。危险就在于：如果用户本身不了解这个领域，根本察觉不到模型在编。
评估报告里专门分析了这类“幻觉样本”，发现细粒度知识幻觉的比例大概在15%到20%之间。也就是说，六个细粒度问题里，大约有一个会出现“自信胡扯”。这对做专业领域应用的开发者是个警示：如果用GPT-4V做物种识别、文物鉴定、产品型号识别这类工具，一定要加人工审核或二次校验环节，不能把模型的输出直接当作事实。我在自己的实测中也遇到过类似情况，比如让GPT-4V辨认某种兰花的具体品种，它有时候给的拉丁文学名看起来煞有介事，一查发现是另一种亲缘很近的物种。这种错误在纯语言任务里还好，因为用户往往有上下文可以判断；但在视觉问答里，用户看到的就是一张图和一个答案，分辨力很低。
3.3 决策维度：这才是GPT-4V拉开差距的地方
常识是“知”，细粒度是“识”、决策维度就是“用”。哈工大评估里决策维度的题目设计我认为最有挑战性，不是问“是什么”，而是问“该怎么做”或者“哪种选择更合理”。
来看评估里的几个典型场景：
第一个场景是看完冰箱里的剩余食材后做规划。图片里是几个鸡蛋、半块豆腐、一把小葱、一小盒肉末。问题问：“如果今晚想做一道不额外购物、又相对均衡的菜，以下哪个选择最合适？”选项是番茄炒蛋、小葱拌豆腐、肉末蒸蛋。看似都是合理选项，但图片里没有番茄，所以正确答案是肉末蒸蛋或小葱拌豆腐。GPT-4V需要“看到冰箱里没有番茄”+“结合冰箱存货做决策”+“比较哪个菜营养更均衡”，这比单纯的物体识别高了一个层次。
第二个场景是看图判断风险。一张照片里一个小孩在厨房踮脚够灶台上的锅，问“目前最该做的安全措施是什么？”这种题需要模型理解场景的潜在危险，再结合安全常识做优先级排序。GPT-4V的回答通常会说“先把锅把手转向里侧，并把小孩抱离灶台”。
第三个场景更有意思，是“反向决策”：给一张图片，同时给一段描述，让模型判断描述与图片是否匹配。比如图片显示一个成年人在自行车道骑行，描述却是“穿着专业赛车服在山地路段下坡”，模型需要判断这段描述哪些对、哪些错，并给出理由。这实际上测的是多模态信息的一致性校验。
决策维度GPT-4V拿到了66%，对比组最好的Gemini只有52%，LLaVA只有36%。这个差距比常识维度大得多。为什么？因为决策不是单一能力的比拼，它是视觉理解、知识检索、逻辑推理的组合拳。开源模型可能在“看见”层面还行，知识储备也算有一些，但一旦进入多步推理，它们就容易断线：要么忽略了图像里的某个关键细节，要么知识调取了但不会用，要么直接在多个条件约束下算不过来。
报告里还有一个细节让我印象深刻：GPT-4V在决策维度出错时，大多数错误的类型是“选了一个次优但并非完全错误”的答案，而不是那种完全离谱的答案。而开源模型在决策维度上的错误，更多是彻底跑偏——比如没有按要求比较选项，直接给出一个与图片完全无关的答案。这说明GPT-4V的决策链路已经接近“人在信息不完整时做决断”的模式，而开源模型还停留在“根据图像激活某个答案”的阶段。
3.4 一组典型的翻车案例与亮点案例
看评估不能只看分数，案例才是最有信息量的。这里整理几个我印象深刻的实测案例。
亮点案例一（常识+推理）：图片是一个房间，空调温度面板显示26摄氏度，外面阳光强烈，房间里有两个人穿着长袖。问题问“为什么房间里的人穿着长袖？”正确答案可能是“空调开得比较低/个人偏好”。GPT-4V给出的回答是“无法仅凭图片确认，可能因为空调温度较冷或个人习惯，也可能他们刚进入房间还未适应”。这个回答的妙处在于它承认了信息的局限性，而不是强行给一个答案。很多开源模型在这个问题上直接说“因为正值冬天”，完全无视了空调面板上显示的温度。
翻车案例一（细粒度）：图片是一个花园里的某种紫色花簇。问“这是什么花？”GPT-4V特别笃定地答“薰衣草”，并且补充了“常见于地中海气候”的信息。实际上从叶子和花序形态看，那更像鼠尾草的一种。这就是典型的细粒度幻觉：外观相似度高、模型选择了知识库中频率更高的答案。
翻车案例二（常识过度推理）：图片是一个小朋友坐在书桌前，桌上摊着数学作业本，手里拿着笔，表情发愁。问“这个小朋友此刻最可能需要什么？”正确答案是“帮助或解题提示”。GPT-4V居然答了“一台计算器”。计算器当然有助于算数，但结合“人类辅导”“提高解题能力”的场景，最优答案不是计算器。这就是模型知道所有知识点，但在做选择时过于字面化，没有进入“教育场景中最合适的帮助方式”这个层面。
翻车案例三（决策约束遗漏）：图片是衣柜内部的照片，有几件T恤、一条牛仔裤、一件冬季外套。问“如果明天要参加户外晨跑，温度大约18度，应该穿什么？”GPT-4V回答“穿T恤和牛仔裤”。这个答案从视觉角度看没错，但它忽略了晨跑场景对透气性的要求和对温度的感受——18度晨跑，穿T恤可能会觉得凉，更适合套一件薄外套。这个案例说明模型在提取图片可见信息后，并没有把它与“户外晨跑做准备”的知识做充分融合。
综合看这些案例，我的总结是：GPT-4V的知识密集型VQA能力仍然不完备但足够实战。它已经能应付大多数需要常识和中等细粒度知识的场景，但在高精度的专业识别和需要结合隐性场景约束的复杂决策上，仍然需要人类把关。
4. 从模型角度看：为什么GPT-4V能做到领先
4.1 视觉编码与知识通路：并不只是“看得清”
很多人有个误解，认为GPT-4V在VQA上强是因为它“视觉识别能力更强”。但从技术原理看，视觉识别能力只是基础，更关键的是视觉信息如何与语言知识库对接。
GPT-4V的视觉编码方式在官方技术报告中披露得不算完整，但业界普遍认为它沿用了类似“视觉token化”的思路：把图像切块编码成与文本token同空间的向量，再输入到Transformer主干中做联合推理。这一设计最大的好处是，图像特征在模型内部不是孤立的，而是直接在Transformer的注意力机制里与文本知识交互。
用通俗的话讲：传统视觉模型是“眼睛”和“大脑”分开的——眼睛看到猫，大脑的知识库里知道猫是什么，但两者之间只有一根窄窄的通道。GPT-4V则更像是“眼睛直接把看到的内容翻译成大脑能理解的词汇，然后大脑直接开始思考”。知识库里的常识和细粒度信息，可以在推理的每一层都调制视觉特征的理解。
这也是为什么GPT-4V在细粒度知识维度能大幅领先开源模型。LLaVA虽然也用CLIP视觉编码器，但它从图像特征到语言空间的映射基本是“一次性对齐”，缺乏多层的知识调校。当问题涉及模糊的细粒度知识时，LLaVA的图像特征提取出来以后，语言模型部分只能猜；而GPT-4V可以通过多轮注意力迭代，把视觉特征逐步引导向知识库中相关的概念。
4.2 推理能力：链式思考与上下文学习
GPT-4V的推理能力来自底座大模型的思考积累。多模态模型在VQA任务里最常犯的错是“跳步”——直接从图像特征映射到答案，中间不经过推理。GPT-4V在这方面训练得更好，它倾向于展示完整的推理链路。
官方和第三方实测都发现，GPT-4V在回答知识密集问题时，会在内部或外部生成类似“我看到图片里有一个X，这个X的特征Y提示我它可能是Z，结合问题问的W，我判断答案是V”这样的推理链路。即使最终答案错误，推理链路里往往已经包含了正确的观察，只是最后一步判断偏差。
这种推理能力还有一个好处：它让模型能够利用“思维链提示”（Chain-of-Thought）进一步提升表现。哈工大评估里也测试了“先推理后回答”的提示变体。把提示词改成“请先一步一步分析图片中的关键信息，然后给出你的最终答案”之后，GPT-4V的细粒度和决策维度准确率还能再涨3到5个百分点。开源模型也有类似的提升，但幅度小得多，因为它们底层的推理能力本来就不够稳定。
不过要提醒一点：思维链提示对GPT-4V的常识维度几乎没帮助，有时甚至还略微掉分。因为常识题往往不需要复杂推理，一旦模型被迫“推理”，反而容易把简单问题复杂化，就像我前面说的“想太多”翻车案例。所以实践中不要一律加思维链，要根据题目类型做选择。
4.3 对齐与自我纠错：安全机制反而提升了正确率
还有一个容易被忽略的因素：GPT-4V在训练中做了大量对齐（alignment），让它学会了“不知道就说不知道”和“拒绝回答”。这个特性在知识密集型VQA里意外地有用。
评估中有一类问题涉及医学、法律等专业判断，比如看一张皮疹照片问“这是什么病？”模型如果知识不足，最容易犯的错误是瞎猜。GPT-4V的对齐机制让它更倾向于给出“我无法仅凭图像进行医学诊断，建议咨询专业医生”之类的安全回答。这种回答在传统评测里会被算作“没答对”，但从实用角度看，它比“自信地给一个错误诊断”安全得多。
报告的人工复核也确认了这一点：GPT-4V在专业领域题目上的“有依据的拒绝”比例明显高于开源模型。开源模型则是“不管会不会，先答了再说”，所以在基准分数上反而没有因为拒绝回答而扣分，但在真实应用中是重大隐患。
对齐还带来了自我纠错能力。GPT-4V在生成答案的过程中，如果检测到前后矛盾，有时会自动修正。比如某次实测中，它先答“这是欧洲白鹳”，随后自己更正为“等等，从喙的颜色来看，更可能是亚洲的东方白鹳”。这种自我纠正虽然不稳定，但已经在人类评测者眼中加分不少。
5. 对研究者和开发者的实际参考价值
5.1 三类任务可以优先尝试GPT-4V
如果你正在考虑用多模态大模型做产品，我根据这份评估和自身经验，推荐三类可以优先采用GPT-4V的场景。
第一类是辅助决策类应用。比如做一个“冰箱食材规划助手”，用户拍照冰箱内部，模型建议可以做什么菜、需要补什么食材。这种场景天然就是决策维度，GPT-4V的66%准确率虽然不算完美，但实用性已经出来了。我实测过用GPT-4V做“旅行打包助手”：拍一张行李箱和目的地天气信息，让它列出必带物品，效果相当不错。
第二类是教育学习类应用。拍一道数学题、一张植物叶子、一块岩石，GPT-4V能结合知识给出讲解和背景信息。这类应用对“完美准确”的要求相对低，用户更看重的是“有没有提供有启发性的信息”，刚好是GPT-4V的长项。
第三类是内容审核和安全监控的辅助环节。比如看一张公共场所的照片，判断是否存在安全隐患。这种任务不需要特别冷门的细粒度知识，更多的是常识和决策判断，GPT-4V的稳定性足够。但要提醒，辅助环节的意思是“模型先标记，人工再审”，不能全自动处理。
5.2 如何设计更好的提示词
报告里用的提示词其实很朴素，但朴素中有关键思考。我在实际测试中总结出几个提示词设计原则，直接给出来供参考。
原则一：明确告诉模型“可以调用外部知识”。有的模型在纯VQA训练中形成了“只看图回答”的惯性，你不提醒它，它就不调用知识。可以在系统提示里加一句“如果图片信息不足，请结合世界知识合理推断”。
原则二：把问题形式化，约束输出格式。知识密集型VQA经常需要比较多个候选，如果让模型自由发挥，它可能长篇大论。建议在提示词中明确指定输出格式，比如“直接给出答案，不要解释”，或者“先给出答案，再给一句不超过20字的理由”。
原则三：按题目类型切换提示策略。常识题不要加思维链；细粒度题可以主动要求模型“给出判断依据”；决策题可以要求模型“列出图片中的关键元素，再结合约束条件做选择”。
我给一个可以直接套用的提示词模板：
你是一个知识丰富的视觉理解助手。请根据图片回答问题。 如果图片不能直接提供答案，请使用你的常识和世界知识。 回答规则：先输出答案，然后用一句话说明主要判断依据。 问题：{}实测下来，这个模板在知识密集型VQA上比裸奔提问稳定得多，尤其能减少那些“答非所问”的跑偏现象。提示词的威力在开源模型上更明显——LLaVA用裸奔提示词的准确率很低，但给足引导之后，能提升不少。当然，跟GPT-4V仍有差距，但提示词是免费的，为什么不用。
5.3 哪些场景仍然要谨慎
虽然GPT-4V在知识密集型VQA上全面领先，但它不是万能的。有三个场景我建议不要直接上生产。
高精度专业鉴定类：比如名贵植物品种鉴定、宝石真伪判断、古玩年代推断。这类任务对精确度的要求很高，错了就是大事。GPT-4V在细粒度维度只有六成准确率，而且那幻觉的15%-20%足够致命。这类场景只能用来做初步筛选，最终判断必须靠人。
需要实时或可解释知识来源的场景：GPT-4V是闭源模型，你无法检查它调取了哪些知识，也无法知道它为什么选这个答案。如果业务有合规要求，需要模型给出可追溯的知识来源，GPT-4V目前做不到。你可能更需要的是一条RAG（检索增强生成）链路，让模型基于你指定的知识库回答。
涉及个人隐私的图像推理：比如根据用户家里的照片做保险定损、企业盘点等，这涉及把敏感图像发给外部API的风险。这不只是准确率问题，更是数据安全问题。实际项目里，这一点往往比模型能力更致命。我自己做评测时，就坚持只用脱敏图片，就为了保证任何一张图流出去都不会造成隐私风险。
6. 避坑指南：知识密集型VQA实测经验
6.1 数据标注与评估的常见陷阱
如果你也想学哈工大那样，给自己的项目做一套知识密集型VQA评估，先避开这几个坑。
陷阱一：只用“准确率”一个指标。知识密集型VQA的答案往往是开放式的，“对”和“错”之间还有“部分对”“保守拒绝”“过度延伸”等状态。只用准确率，会漏掉很多关键信息。建议加一个“错误类型分析”维度，把错误分为“完全跑偏”“部分正确”“过度推理”“应当拒绝却强行回答”几类。报告里对GPT-4V最有利的发现，恰恰是它的错误类型偏向“部分正确”和“保守拒绝”，而不是“完全跑偏”。
陷阱二：用自动指标做唯一裁判。BLEU、ROUGE对自由式答案的判定不可靠，特别是GPT-4V这种能言善辩的模型，一个正确答案可能用完全不同的措辞表达出来。自动匹配只适合多选或闭卷式问题。开放生成的问题，要么人工复核，要么用第二个大模型当评判者（LLM-as-a-judge）。用GPT-4当评判者来评估GPT-4V的答案，会有一定的偏好偏差，但总比BLEU强。
陷阱三：数据集合没做知识类型分层。如果你把所有需要外部知识的题目放在一起评估，你只能得到一个总分，看不出模型的能力结构。建议按常识、细粒度、决策（或者按你的业务逻辑，例如产品识别、场景判断、决策建议）分层标注并分别统计。这样才能指导后续优化方向。
6.2 提示词敏感性与复现问题
评估GPT-4V这类闭源模型，最让人头疼的问题就是复现性。同一个模型、同一张图，隔两天跑可能结果就不一样，温度参数稍微一改，结果也变。我在自己的实测中通常把温度设为0，但即便如此，模型仍然存在一定随机性。
应对方法有两个。第一，每道题跑多次取多数投票。比如每道题跑3次，取出现次数最多的答案。这个方法成本高，但能把细粒度维度的准确率往上拉好几个点。第二，固定提示词和API参数，并记录每次调用的完整输入输出。这样哪怕之后分数变了，你也可以追查是哪一次改变导致的。
提示词敏感性也是个大坑。哈工大报告的提示词模板里，“请结合你的常识和世界知识”这句话似乎不起眼，但它对知识密集型题目的影响非常大。去掉这句话，GPT-4V会更保守，倾向于只从图片里找答案；加上之后，它会更大胆地调取知识，但也会增加幻觉风险。评估报告里专门做了消融实验：不加这个引导，GPT-4V细粒度准确率从62%掉到55%左右；加了太强的引导（比如“必须使用你的知识，不要考虑图片”），准确率反而也下降，因为模型开始忽略图片中的关键矛盾信息。
所以我的建议是：如果想复现一份评估，不要照搬别人的提示词，而是自己做一个简单的提示词敏感性扫描，找到最稳的版本。这相当于是为自己的业务做一次小型评测。
6.3 多模态模型选择的决策路径
最后聊聊怎么选型。看完整份评估，我的整体判断是：如果你是做严肃的知识密集型VQA应用，且预算允许，GPT-4V目前依然是最省心的选择。它领先的不仅是分数，更是使用体验——输出稳定、拒绝得体、推理过程可解释，这些指标在实际产品里比那十几个百分点的准确率更值钱。
但如果你的场景对数据隐私敏感、或者需要本地化部署，那就只能在开源模型里做选择了。从评估结果看，开源模型目前整体能力排序大致是Qwen-VL系列好于LLaVA系列、好于InstructBLIP。Qwen-VL在常识维度已经能和GPT-4V碰一碰，主要差距在细粒度和决策维度。这种情况下，建议用“开源模型做初步筛选+人工复核”的架构，而不是指望开源模型一步到位。
还有一个思路是混合架构：用GPT-4V处理高难度的知识密集型问题，用规则引擎或开源模型处理简单问题。我实测过一个场景：先做一版简单分类，判断这道题是不是“只靠看图就能回答”。是，就走轻量模型；不是，才调用GPT-4V。这样做既能控制成本，又能在核心难题上保持高准确率。评估数据显示，这种混合架构的成本比全量调用GPT-4V低一半以上，整体准确率只掉了两三个点。
如果你手头没有GPT-4V的API权限，也可以考虑用其他闭源多模态大模型作为替代，但从哈工大这份评估看，它们在细粒度知识维度跟GPT-4V的差距至少有十个百分点以上。这个差距不是提示词能完全弥补的。
我在实际跑评测时还有个体会：模型能力评估这事，真的不能只看排行榜。排行榜上的综合分数掩盖了太多细节。GPT-4V在知识密集型VQA上领先，这个结论本身很有价值，但它意味着的是“在需要常识、细粒度知识和决策的场景下可以少操很多心”，不意味着它在一切视觉任务上都无敌。图像中的简单物体计数、精确的OCR文本提取、像素级的内容差异分析，这些任务它未必比专门模型更强。
最后再分享一个我踩过坑之后养成的习惯：每次评估知识密集型VQA结果时，我都会把错题单独拉出来，按错误类型贴好标签，跑一轮“二次提问”——把GPT-4V的错误答案作为挑战性反馈重新问它一遍“你确定吗？”在不少情况下，模型会自己发现错误并改口。这个简单的二次校验机制，能让你在业务中白赚五六个百分点的准确率，而且实现成本极低。如果你正在做视觉问答产品，强烈建议加上这个环节。
