网页搜索里有一个很常见的失败场景：用户搜“蓝色运动鞋”，返回结果里有一张商品主图，图上明明白白是红色跑鞋，但页面标题和描述写的是“Blue Running Shoes”。传统文本相关性模型看到标题、描述、锚文本全部对齐，会给出高分；真人用户扫一眼缩略图就会划走。类似的情况大量出现在电商、视频封面、新闻配图和站点列表页里。标题和图文内容不一致，或者真正决定用户点击的恰恰是图片里的视觉细节。
这类问题推动了搜索评估方式的一次重要变化：用视觉语言模型（Vision-Language Model，VLM）来测量相关性。它不是简单地给图片换个更强的模型，而是把“看起来是否相关”变成一种可以被机器规模化判断的信号。我最近在整理网页级搜索相关性评估方案时，重新梳理了这类模型的落地路径，结论是：VLM能解决一部分传统文本模型解决不了的问题，但它的工程化难点与文本管道完全不同，真正决定成败的往往不是模型能力，而是评测集怎么建、成本怎么控、人工校准怎么做。
1. 网页搜索里的相关性测量，为什么越来越像一道视觉题
1.1 文本相关性测量已经管不了“图文分离”的页面
传统相关性评估的核心对象是文本。无论是基于BM25的关键词匹配，还是基于BERT双塔的语义向量，系统看到的都是页面里的title、description、正文片段、锚文本和URL结构。这套体系在纯文本网页时代很有效，因为页面里能影响判断的信号基本都藏在文字里。
但今天的网页已经不是“文本的容器”。电商商品页会把核心信息放到图片里，一张白底产品图就能说清楚颜色、形状、材质；资讯站点的封面图决定用户对内容的第一印象；平台内搜索结果展示的是缩略图、视频封面、图标组合。文本可以描述图片，也可以与图片严重不一致。
更麻烦的是，很多页面的文本是为了SEO和投放准备的，并不等于用户真实想看到的内容。一个页面可能故意把关键词堆进标题，正文却没有对应的信息；也可能图片是高清大图，OCR提取出的文字却只有十几个词。搜索引擎的相关性测量如果只吃文本，就会把大量“文本相关但视觉不相关”的结果提前推到用户面前。
VLM的价值恰恰出现在这个断层里。它们能将查询词和图像内容放在同一个语义空间里比较，看到用户描述的“蓝色”是否与图片实际颜色一致，看到“北欧风沙发”的材质和线条是否符合这类风格的典型特征。这不是简单的图像分类，而是跨模态语义对齐。
1.2 用户和搜索引擎对“相关”的定义，正在被多模态内容重塑
用户对“相关”的感知从来都不是纯文本的。搜索“露营装备”，用户期望看到的是帐篷、折叠椅、户外炉具的图片，而不是一篇文章里提到“露营”两个字但配图全是酒店房间。搜索“复古摩托车”，图片里的车型、配色、坐垫样式直接影响结果是否可用。
多模态内容占比越高，相关性测量的定义就越偏视觉。搜索引擎目前已经普遍支持图片搜索、视频搜索、边看边搜，搜索结果页里也大量混排图片/视频/商品卡。这种混排场景中，用户会同时用文本和视觉线索判断“这一条结果和我找的东西像不像”。如果评估系统只依赖文本，就相当于让一个只能看文字的人去给一本漫画书做校对。
有人可能会说，可以用OCR把图片转成文本，再交给文本模型。OCR能解决一部分问题，但它丢掉了太多信息：布局、颜色、纹理、物体位置、风格、品牌质感。而且OCR本身也有错误，图文混排的页面里提取结果会非常碎。VLM是直接从图像特征和语义特征做交互，不需要中间转译，所以在“看”这个环节上更贴近人的判断方式。
1.3 VLM在这里补上的是“感知对齐”，不是“语义匹配”
传统文本相关性和VLM相关性本质上是两种信号。文本相关性判断的是“标题/正文里的词汇和查询词是否语义一致”，VLM相关性判断的是“视觉呈现出来的内容是否与查询词描述一致”。后者在主观体验上更接近用户在看结果页时的第一反应。
这也是为什么我建议不要把这个话题当一个纯图像分类任务来看。VLM要处理的不是“这张图属于哪个类别”，而是“这张图是否满足某个查询文本背后的视觉预期”。它需要理解“蓝色”是一个颜色属性，“北欧风”是一种设计语言，“适合通勤”是一种使用场景。这类知识在VLM预训练阶段已经大量吸收，所以不需要每次从头训练。
不过，模型能感知，不代表生产系统能直接用。要把“感知”变成“可评估的分数”，就需要在评测集、Prompt设计、输出规范和工程管线上做大量配套工作。
2. VLM做相关性测量，机制上并不神秘
2.1 输入一个查询和一组视觉证据，输出一个判断
VLM测量相关性的常见范式很直接：把用户查询文本和一个候选结果（网页截图、商品图、缩略图、图文组合）拼接成模型输入，让模型输出相关性分数或相关/不相关二分类标签。输出还可以附带简要理由，例如“页面图片是红色跑鞋，与查询中的蓝色不一致”。
这个范式与人工评估员的工作流程非常接近：评估员拿到一个Query和一条结果，先看标题，再看内容图片，最后给出相关、部分相关或无关的标签。VLM只是把这个过程自动化了。输出的粒度可以灵活设计，比如0-4分制、二分制、或者是相关度描述加结构化JSON。
这种设计的关键在于“视觉证据”的选取。通常不是把整个网页原图直接丢给模型，而是从页面上裁剪出主体区域，或者提取多张关键图片，再配合OCR文字和页面文本片段。这样既能减少无关噪声，又能让模型在多个模态间交叉验证。输入组合越贴近用户真实看到的结果，模型的判断越有意义。
2.2 真正关键的是把视觉证据转化为可解释文本
很多早期方案直接把图片喂给一个图像分类模型，输出“是/不是”。问题在于，模型给了一个“否”，但我们不知道它为什么否决。是颜色不对？物体不对？还是页面布局太乱，导致模型没看清楚？
VLM的优势恰恰在于它能把判断过程和视觉证据用自然语言表达出来。模型可以说：“查询词是‘蓝色运动鞋’，图片中的主体是红色跑鞋，颜色不匹配，因此判断为不相关。”这种解释作为中间产物，有几个实际用途：第一，工程师可以抽样检查模型是否在关注正确的区域；第二，可以训练一个小型的文本分类器来消化这些解释，降低线上推理成本；第三，在人工抽检时，解释文本能辅助评估员快速判断标注是否合理。
所以，VLM在相关性测量里不只是“分类器”，它同时是“证据采集器”。采集到的证据可以被后续模块复用，也可以作为训练远程监督信号。这一点，是单纯的CLIP余弦相似度或图像分类模型很难替代的。
2.3 为什么这能扩展到Web-Scale：先离线打分，再蒸馏/辅助在线模型
提到Web-Scale，很多人的第一反应是“每天几十亿次请求，VLM推理肯定扛不住”。直接让VLM在线处理全量搜索结果，确实不现实。但相关性测量任务本身并不需要全量实时推理。
通常的做法是：先把VLM用来离线标注采样数据。比如从历史搜索日志里抽取一批Query-URL对，用VLM打上一个多模态相关性分数，再把这个分数作为训练信号，去训练一个更轻量的在线相关模型。在线模型可以只使用文本、用户点击、URL结构等廉价特征，在低延迟环境下尽量模仿VLM的判断。这样一来，VLM只处理可控规模的样本，而不是处理所有线上流量。
还可以在召回阶段用VLM筛选候选图片，或者在重排阶段对Top结果做小规模多模态精排。关键不在“全量用VLM”，而在“让VLM的评价能力通过蒸馏和迁移，渗透到整个系统”。这也是Web-Scale场景里更现实的路径。
3. 从Demo到可用的最小流程
3.1 构造一个有代表性的Query-URL样本集
不要把VLM当玩具，直接用它去批量标注全网页面。第一步永远是构造一个“小而真”的样本集。建议从搜索日志中选取高频Query，覆盖不同类型：具体商品词、风格描述词、内容资讯词、导航类词。每个Query再采样若干条结果，至少几十到上百条，构成一个带Query、URL、页面图片、页面文本的评估集。
这个样本集的价值有两个。第一，它用于验证VLM的基线表现。先抽几百条数据，让模型打一遍分，人工抽样看是否合理。第二，它用于校准Prompt和输出格式。在真实网页的复杂输入下，模型可能出现格式错乱、漏判、过度自信等问题，小样本集可以快速暴露这些情况。
样本集本身需要标注。如果预算允许，请人工标注一部分Query-URL对作为golden set。如果暂时没有资源，可以先用规则生成一些“明显相关/明显不相关”的简单样本，作为冒烟测试。最怕的是上来就全量处理，最后根本无法判断结果好坏。
3.2 设计Prompt和输出格式，先跑通单条
VLM在相关性任务上最不稳定的不是视觉能力，而是“听指令”的能力。Prompt要同时完成三件事：定义任务、定义输入、定义输出格式。
一个常见写法是：
你是一个搜索相关性评估专家。请根据查询词和页面截图判断这条搜索结果是否相关。 查询词：{query} 页面截图：<image> 请从整体内容判断，如果页面视觉主体与查询词明显不一致，则判为不相关。 输出JSON格式： {"score": 0或1, "reason": "简要说明判断依据"}其中score可以换成0-4连续分。关键是格式约束。JSON输出比自由文本好解析，同时要在Prompt里显式要求只输出JSON，不输出其他内容。
跑通单条时，要重点检查三件事：模型是否真的在看图片；输出是否能稳定解析；reason是否和score一致。我遇到过reason说“颜色不匹配”，score却给了1（相关）的情况。这不是模型不会看，而是Prompt的语义不够清晰，或者解码温度太高导致逻辑不一致。先单条验证到可复现，再开始批量。
3.3 批量推理：并发、缓存、失败重试
批量推理不是简单写个for循环。要考虑以下几个点：
- 并发控制：VLM服务通常有吞吐限制，尤其是用线上API时，并发过高会触发限流或超时。
- 缓存：相同Query-URL对可能出现多次。不同Query对应的URL也可能重复，建议用URL或图片hash做缓存，避免重复计算。
- 失败重试：图片加载失败、超时、输出解析失败都需要单独处理。不要把失败样本静默扔掉，要记录原因。
- 断点续跑：批量任务可能跑几小时甚至几天，建议把处理结果和未处理列表分开保存，崩溃后可以继续。
我用过最简单的方案：数据表里加一个status字段，处理完更新为done，失败更新为error并记录错误信息。跑完后按status筛选，只重试error。这比写一堆检查脚本更可靠。
3.4 离线指标与一致性检验
批量跑完之后，先别急着部署。要做几个一致性检验：
- 自一致性：同一条输入跑两三次，看输出是否稳定。VLM有随机性，temperature高时尤其明显。
- 人工抽样一致性：从结果中随机抽50到100条，让评估员对比VLM的分数和判断，计算简单的一致率或Cohen's Kappa。
- 分组一致性：按Query类别、页面来源、图片类型分组，分别看准确率。有些类别可能特别差，比如长文本页面或图标密集页面。
只有当这些指标达到可接受范围后，才适合把VLM的输出用于更下游的任务。如果一致性很差，先不要调模型，而是先检查输入图片质量和Prompt是否清晰。
4. 工程化落地时最容易被忽略的三类问题
4.1 成本和速度约束：全量不可行，要设计采样和蒸馏
VLM推理的成本远高于文本模型。处理一张图片通常要消耗大量视觉token，一次推理可能相当于几千个文本token。如果每天处理上百万条URL，费用和延迟都会成为瓶颈。
所以，在Web-Scale场景里，VLM几乎不可能直接成为在线打分模块。需要把它放在“标注器”的位置，而不是“评分器”的位置。先对样本打分，再把样本用于训练一个轻量模型，或者把它输出的文本理由转换成文本特征，供在线模型使用。这个蒸馏过程会损失一部分精度，但能换来可接受的成本和延迟。
设计采样策略时，要确保样本覆盖足够的长尾Query和困难负例。不要只采样高频Query，否则训出来的模型只会在高频词上表现不错，遇到长尾词又退回文本匹配的老路。
4.2 输出不稳定：需要约束生成和重复采样
VLM的输出并非始终干净。有时它会在JSON外面多加一段解释，有时会输出中英混杂的字段名，有时会把分数写成字符串“0.8”而不是数字。解析失败是一个常见问题。
工程上可以做三件事：第一，在Prompt里严格限定输出格式，并给出一个示例。第二，使用解码约束工具强制生成合法JSON，或者设置更低的temperature（比如0到0.2）。第三，写一个容错解析器，能从脏文本中提取第一个JSON块，提取不成功就重试。
还有一个技巧：对同一输入跑多次，取多数投票或平均分。实验发现，对于边界样例，重复采样能提高稳定性，但代价是推理成本成倍上升。更推荐的做法是，先用低温度跑一次，如果reason中出现了不确定表达（如“可能”“看起来像”“无法判断”），再标记为待人工复核，而不是盲目重复采样。
4.3 与现有相关性管道集成：VLM不是替换，而是补充
不要试图用VLM替换掉现有的文本相关性管道。现有的BM25、双塔、BERT模型在大量场景下依然高效且稳定。VLM更适合作为一层额外的信号来源，专门用来捕捉文本模型看不到的视觉差异。
一种常见的集成方式是把VLM输出作为一个特征，输入到LTR（Learning to Rank）模型中。比如把VLM的0/1分数、reason的TF-IDF向量，或者VLM在某个prompt下对“颜色一致性”的置信度，加入到排序特征里。这样既能保留文本模型的能力，又能让视觉信号参与最终排序。
另一种方式是把VLM用于离线评估其他相关性模型。比如，你有一个需要定期评估的文本相关模型，可以让VLM对评估集重新打分，比较两者在哪些Query类型上出现分歧，据此定位模型盲区。这个用法不直接影响线上，但对迭代很有价值。
4.4 常见问题排查：先看输入、再看输出、最后看匹配
如果VLM打分结果看起来不合理，我一般按这个顺序排查：
- 看输入图片：图片是否成功下载？是否被缩放或裁剪？是否因为反爬机制拿到的是占位图或验证码？图片本身就是错的，后面全白搭。
- 看Prompt与图片组合：查询词是否被错误拼接？图片尺寸是否过大导致模型只看到局部？多图输入时，模型有没有看漏关键图？
- 看输出解析：模型输出的score和reason是否对应？JSON解析时有没有字段错位？
- 看模型版本和加载方式：不同VLM对图片分辨率的处理差异很大，低分辨率下很容易漏掉颜色、文字等细节。
大多数“VLM效果差”的问题，最终都会回溯到输入数据质量，而不是模型本身不够强。
5. 相关性的主观边界：VLM能当评估员，不该独自当裁判
5.1 “相关”本身不是一个稳定客观的标签
同一个Query，不同用户、不同时间段、不同设备下的期望可能完全不同。“热门手机”在数码爱好者眼里可能是旗舰参数，在普通用户眼里可能是销量榜单。“新鲜”在生鲜搜索里强调保质期，在内容搜索里强调发布时间。VLM虽然能理解常识，但它不掌握每个垂直领域、每个用户群体的个性化标准。
所以，VLM输出的相关性分数更适合作为“通用相关性”的近似估计。如果要针对特定人群、特定场景做个性化，还需要叠加用户行为数据，不能只靠VLM。相关性的定义最好由业务方和评测团队一起明确，再转化为Prompt里的规则和示例。
5.2 与人工评估、点击信号、用户反馈融合
VLM可以替代一部分重复性标注，但不能完全替代人工。我建议的协作方式是：
- VLM先做粗筛，把明显相关、明显不相关的样本快速标出来。
- 人工只审核那些边界样本、VLM低置信度样本，以及reason中透露“它其实没看懂”的样本。
- 点击数据、停留时长、购买行为等隐式反馈可以作为VLM标记的辅助信号，用于最终排序，而不是单独作为相关性的golden label。
这种“机器粗标、人工精标、行为验证”的组合，能最大化利用VLM的批量处理优势，同时保留对主观性的纠偏能力。
5.3 VLM适用与不适用场景
适合用VLM做相关性测量的场景：
- 电商商品搜索，主图内容与标题描述不一致的比例高。
- 视频/图片类搜索，封面或缩略图对点击率影响大。
- 资讯推荐，配图风格和内容题材需要匹配。
- 页面摘要、卡片展示，视觉信息本身就是结果的一部分。
不适合的场景：
- 纯文本问答、代码搜索、学术文献搜索，图片不是关键信号。
- 对延迟和成本极度敏感的线上轻量场景，VLM不适合实时介入。
- 涉及用户隐私或敏感图片的内容，需要谨慎使用。
即使适合，也建议先用小样本验证收益，再决定是否投入。
5.4 一个可复用框架：采样、校准、批量、回流
把前面的经验收束成一个四步闭环：
- 采样：从真实搜索日志中抽取Query和候选结果，构造覆盖高频和长尾的小样本集。
- 校准：用几百条样本调试Prompt、输出格式、输入图片预处理方式，直到人工抽检一致率可接受。
- 批量：在控制成本、做好缓存和重试的前提下，对更大规模的数据集进行预测和蒸馏。
- 回流：把VLM打分结果、人工复核结果、模型分歧样本全部回流到评测集和训练集中，持续迭代。
这个框架的好处是，它把“VLM相关模型”从一次性的实验变成了可持续积累的数据资产。每轮迭代都会让下一轮更稳定，而不是每次重新设计流程。
6. 给想入场的开发者的几点建议
6.1 从垂直场景切入，不要一上来做全网通用评估
“通用网页相关性评估”听起来很大，但落地时最好从单一内容形态开始。比如先只做商品页、先只做视频封面、先只做新闻配图。垂直场景的视觉模式更集中，Prompt容易收敛，人工审核也更容易建立标准。把垂直场景做成一个可复用的模板，再复制到其他类型，会比一次性通吃所有网页稳妥得多。
6.2 不要只盯着SOTA模型，先看数据和Prompt是否可靠
VLM的公开评测榜单每年都在刷新。但相关性测量是一个高噪音的任务，模型之间的差距可能被评测集构造方式完全淹没。我更建议先花时间把Query样本集、图片预处理、输出解析和人工审核流程建好，然后跑两个不算最前沿但开源的VLM，对比一下效果。通常只要Prompt和输入质量到位，中等规模的VLM已经能产生足够有用的信号。
6.3 关注数据泄漏和模型幻觉
数据泄漏在搜索评测里特别隐蔽。如果训练VLM的语料里已经包含了大量搜索结果页面和Query组合，模型可能“背过答案”，导致在测试集上表现虚高。落地时要避免使用与训练集分布过于相似的样本，最好在构造Query时引入真实搜索日志里的新长尾词。
幻觉方面，VLM有时会脑补图片里不存在的细节。比如一张纯色商品图，模型在reason里写“图片中有一个白色标志”，但这可能是幻觉。为了减少影响，可以在Prompt里要求模型只基于图片可见内容判断，并在人工抽检时重点检查reason是否与图片实际内容相符。
6.4 未来：从静态截图到动态交互结果
当前很多VLM相关方案处理的是“页面截图”或“首屏缩略图”。但搜索结果的形态还在演进，视频片段、轮播图、ICON、富媒体卡片、跨模态混合结果都会越来越常见。接下来值得关注的方向包括：视频关键帧摘要、页面动态交互结果、以及结合浏览时序的相关性评估。VLM在这类任务上还有不少空白，但已经能看到可行的技术路径。
对做搜索和推荐系统的开发者来说，VLM不应该只是一个“热点标签”，它会成为相关性评估工具箱里一个长期存在的新组件。关键是，把它放对位置：它负责感知，你负责校准；它负责规模，你负责质量。把这两件事做好，Web-Scale下的多模态相关性测量就不再是概念，而是一套可以迭代的工程能力。
