1. 视觉定位的困境与GroundingAgent的破局思路
视觉定位（Visual Grounding）这个任务，说白了就是让机器在一张图里找到你用自然语言描述的那个东西。比如你说“左边那只正在睡觉的橘猫”，模型就得在图片里把那只猫用框标出来。这件事听起来简单，但它是多模态理解里最核心的能力之一——机器人要听懂指令去抓取物体、自动驾驶要理解“前方穿红衣服的行人”、电商搜索要找到“图片中模特背的那个包”，底层都依赖视觉定位。
过去几年，这个领域基本被两类方法统治。第一类是全监督微调：拿几十万甚至上百万的标注数据（图像-文本-框三元组），把模型按在地上反复训练。效果确实好，但代价也大——标注成本高得离谱，而且模型换一个数据分布就废了，泛化能力堪忧。第二类是弱监督或半监督：用少量标注加大量无标注数据，试图降低对标注的依赖，但效果往往差强人意，定位精度和鲁棒性都打折扣。
AAAI 2026 这篇 GroundingAgent 的工作，走了一条完全不同的路：免训练（Training-Free）。它不微调任何参数，直接拿现成的多模态大模型（比如 GPT-4V、LLaVA、Qwen-VL 这类）当“大脑”，通过智能体推理的方式，让模型自己一步步把目标找出来。这个思路的吸引力在于：零标注成本、即插即用、跨域泛化能力强。你不需要准备任何训练数据，也不需要 GPU 集群跑几天几夜，只要有一个能调用的多模态大模型 API，就能直接做视觉定位。
但免训练也意味着挑战巨大。多模态大模型虽然能“看懂”图片，但它们的输出是文本，不是坐标框。怎么让一个只会说“猫在左边”的模型，精确输出[x1, y1, x2, y2]这样的边界框？怎么保证它不会把“左边”理解成图片的 10% 位置还是 30% 位置？怎么处理多个相似物体时的歧义？GroundingAgent 的核心贡献，就是设计了一套智能体推理框架，把视觉定位拆解成多个可验证、可迭代的子步骤，让模型在推理过程中不断自我修正，最终收敛到准确的定位结果。
这篇文章我会从从业者的视角，把 GroundingAgent 的整体设计、核心细节、实操要点、常见坑和排查技巧全部拆开讲清楚。不管你是刚入门多模态的研究生，还是正在做产品落地的工程师，只要你对“不训练就能做视觉定位”这件事感兴趣，下面的内容应该都能直接参考复现。
2. 免训练视觉定位的核心设计拆解
2.1 为什么选择智能体推理而不是端到端回归
端到端回归是视觉定位最直觉的做法：设计一个网络，输入图像和文本，直接输出四个坐标值。但这条路在免训练场景下走不通，原因有三。
第一，多模态大模型的输出空间是离散的文本 token，不是连续的坐标值。你让 GPT-4V 输出[0.23, 0.45, 0.67, 0.89]，它确实能生成这串数字，但这些数字和图片实际像素之间没有任何几何约束。模型可能今天输出[0.2, 0.4, 0.6, 0.8]，明天同样的问题输出[0.25, 0.42, 0.63, 0.85]，方差极大。端到端回归要求模型内部建立稳定的空间映射，而免训练场景下这个映射是不存在的。
第二，视觉定位需要多步推理。人类找东西的过程是：先看整体场景，定位候选区域，再根据属性（颜色、姿态、关系）筛选，最后精确边界。端到端回归试图一步到位，但多模态大模型在单步推理中很容易被干扰——比如图里有三只猫，你说“左边那只”，模型可能因为注意力机制的问题把中间那只也框进去。
第三，智能体推理提供了可解释性和可调试性。端到端模型错了，你只能重新训练。智能体推理错了，你可以看它的推理链，知道是哪一步出了问题——是候选区域没找对，还是属性判断错了，还是坐标映射偏了。这对于实际落地至关重要，因为产品环境里你需要快速定位和修复问题。
GroundingAgent 的设计哲学就是：把定位任务拆解成多个子任务，每个子任务用多模态大模型的能力去解决，子任务之间通过智能体框架串联，形成“感知-推理-验证-修正”的闭环。这个闭环里，模型不需要训练，但需要精心设计的提示词（Prompt）和工具调用逻辑。
2.2 智能体框架的四个核心模块
GroundingAgent 的框架可以拆成四个模块，我用一个实际例子来串讲：假设用户输入是“找到图片中那个戴眼镜、穿蓝色衬衫的男人”，图片里有五个人。
模块一：场景解析器（Scene Parser）。这个模块负责把图片整体理解一遍，输出场景的文本描述。比如它会生成：“图片中有五个人，站在一个办公室里。左边两个在交谈，中间一个在看电脑，右边两个在走路。”这一步的目的是建立全局上下文，避免后续定位时“只见树木不见森林”。场景解析器通常用多模态大模型的图像描述能力实现，提示词要求它尽可能详细地描述物体、属性、空间关系。
模块二：候选生成器（Candidate Generator）。基于场景描述和用户查询，生成一组候选区域。这里有两种策略：一种是文本驱动，让模型直接输出可能的目标位置描述（如“中间偏左的那个男人”）；另一种是视觉驱动，用传统的区域提议网络（RPN）或分割模型（如 SAM）生成候选框，再用多模态大模型给每个候选框打分。GroundingAgent 采用的是混合策略：先用轻量级检测器生成 20-50 个候选框，然后用多模态大模型对每个候选框进行“是否匹配查询”的二分类判断。
模块三：推理验证器（Reasoning Verifier）。这是整个框架最核心的部分。对于每个候选框，模型需要回答一系列验证问题：“这个区域里有人吗？”“这个人戴眼镜吗？”“这个人穿蓝色衬衫吗？”“这个人是男性吗？”每个问题都是一个独立的视觉问答（VQA）任务，模型输出“是”或“否”。只有所有问题都回答“是”的候选框，才会进入最终排序。这个设计的好处是：把复杂的定位问题分解成多个简单的二分类问题，每个问题多模态大模型都更擅长回答，准确率远高于直接输出坐标。
模块四：迭代修正器（Iterative Refiner）。如果所有候选框都没有通过验证，或者最高分候选框的置信度低于阈值，框架会触发修正流程。修正的方式包括：重新生成候选框（调整区域提议的参数）、重新解析场景（可能初始描述遗漏了关键信息）、或者让模型直接输出目标的大致位置描述，然后基于描述重新定位。这个迭代过程最多执行 3-5 轮，直到找到满足条件的候选框或达到最大轮数。
2.3 免训练带来的优势与代价
免训练最大的优势是零样本泛化。你不需要针对特定数据集微调，模型在 COCO、Flickr30K、RefCOCO 等标准数据集上都能直接跑。而且因为不训练，不存在过拟合问题，换一个领域（比如医学影像、遥感图像）也能直接用，只要多模态大模型本身见过类似数据。
但代价也很明显。首先是推理速度慢。端到端模型一次前向传播可能只要 50ms，GroundingAgent 需要调用多次多模态大模型 API，每次调用可能几百毫秒到几秒，整个流程下来可能要 5-10 秒。这对于实时性要求高的场景（如机器人抓取）是致命的。其次是成本高。每次定位都要调用多次 API，如果按 token 计费，单次定位成本可能几毛到几块钱。第三是依赖大模型的能力上限。如果多模态大模型本身对某些属性（如“透明”、“反光”）识别不准，GroundingAgent 也无能为力。
所以 GroundingAgent 的适用场景很明确：标注数据稀缺、领域变化快、对实时性要求不高、但对泛化能力要求高的任务。比如学术研究中的新数据集评测、产品原型验证、小批量定制化定位需求。如果你要做大规模部署的实时定位，免训练方案目前还不现实。
3. 核心细节解析与实操要点
3.1 提示词设计：让模型输出可解析的坐标
免训练方案里，提示词就是“代码”。GroundingAgent 的提示词设计有几个关键原则。
原则一：坐标归一化。不要让模型输出绝对像素值，而是输出 0-1 之间的归一化坐标。因为多模态大模型对绝对像素的感知很差，但对相对位置（“左边三分之一处”）的感知相对准确。提示词里要明确要求：“请输出归一化坐标，格式为 [x_min, y_min, x_max, y_max]，每个值在 0 到 1 之间，保留两位小数。”
原则二：分步输出。不要一次性让模型输出最终框，而是要求它先输出推理过程，再输出坐标。比如：“请先描述目标在图片中的位置（如‘在图片左侧，大约占图片高度的三分之一’），然后输出归一化坐标。”这样做的目的是利用大模型的链式思维（Chain-of-Thought）能力，让它在生成坐标前先“想清楚”位置。
原则三：提供参考锚点。在提示词里加入一些参考物体，帮助模型校准空间感知。比如：“图片中有一张桌子，桌子在图片的下半部分。目标物体在桌子的左边。”通过已知物体的位置来推断目标位置，比让模型凭空估计更准。
原则四：格式约束。要求模型输出严格的 JSON 格式，方便后续解析。比如：
{ "reasoning": "目标在图片左侧，靠近中间高度", "bbox": [0.15, 0.35, 0.45, 0.75], "confidence": 0.85 }如果模型输出格式不对，可以用正则表达式提取坐标，或者让模型重新生成。
3.2 候选框生成：传统视觉与多模态的混合策略
纯靠多模态大模型生成候选框，召回率往往不够。GroundingAgent 采用混合策略：先用传统方法生成大量候选，再用大模型筛选。
传统方法可以用Selective Search、EdgeBoxes或Faster R-CNN的 RPN。这些方法速度快，能生成 100-200 个候选框，覆盖大部分可能的目标区域。然后对每个候选框，裁剪出来单独送给多模态大模型判断。但这样调用次数太多，成本爆炸。所以需要先做一轮粗筛：用 CLIP 或类似的视觉-语言模型给每个候选框和查询文本算相似度，保留 Top-20 个候选框，再送给多模态大模型精筛。
这里有个实操细节：候选框的裁剪要留 padding。如果直接把边界框内的区域裁出来，可能会切掉目标的边缘（比如猫的耳朵、人的头发），导致模型判断失误。一般建议在边界框外扩 10%-20% 的像素，确保目标完整。
另一个细节是候选框的去重。传统方法生成的候选框大量重叠，直接用会导致重复判断。可以用非极大值抑制（NMS）或基于 IoU 的聚类，把 IoU 大于 0.7 的框合并，减少候选数量。
3.3 验证问题的设计：从粗到细的筛选逻辑
验证问题是 GroundingAgent 精筛阶段的核心。设计验证问题时，要遵循“从粗到细”的原则。
第一层是存在性验证：“这个区域里有物体吗？”如果模型回答“没有”，直接淘汰。这一层可以过滤掉大量背景区域。
第二层是类别验证：“这个区域里有[类别]吗？”比如查询是“猫”，就问“这个区域里有猫吗？”这一层过滤掉类别不对的候选。
第三层是属性验证：“这个[类别]是[属性]吗？”比如“这只猫是橘色的吗？”“这只猫在睡觉吗？”这一层过滤掉属性不匹配的候选。
第四层是关系验证：“这个[类别]在[关系]吗？”比如“这只猫在沙发上吗？”这一层处理涉及空间关系的查询。
每一层验证都是一个独立的 VQA 问题，模型输出“是”或“否”。只有通过所有层验证的候选框，才会进入最终排序。排序的依据可以是模型对每个问题的置信度乘积，或者用另一个多模态大模型对候选框和查询做整体匹配打分。
3.4 迭代修正的触发条件与策略
迭代修正不是每次都触发，否则成本太高。触发条件一般有三个：
- 所有候选框都被淘汰，没有通过验证的候选。
- 最高分候选框的置信度低于阈值（比如 0.6）。
- 多个候选框的得分非常接近（比如 Top-2 得分差小于 0.1），存在歧义。
触发修正后，策略包括：
策略一：扩大候选框范围。如果初始候选框太紧，可能漏掉了目标。可以把候选框外扩 30%-50%，重新验证。
策略二：重新解析场景。如果初始场景描述遗漏了关键信息（比如没提到“戴眼镜”这个属性），可以要求模型重新描述，并特别关注查询中的关键词。
策略三：直接定位。让模型直接输出目标的大致位置描述（如“在图片左上角”），然后基于这个描述生成新的候选框，再走一遍验证流程。
策略四：多模型投票。如果条件允许，可以调用多个不同的多模态大模型（如 GPT-4V、Claude、Gemini），让它们分别定位，然后对结果做投票或平均。这个策略成本最高，但鲁棒性最好。
4. 实操过程与核心环节实现
4.1 环境准备与模型选型
要复现 GroundingAgent，你需要准备以下环境：
- 多模态大模型 API：至少一个支持图像输入和文本输出的模型。常见选择包括 GPT-4V、GPT-4o、Claude 3.5 Sonnet、Gemini 1.5 Pro、Qwen-VL-Max、LLaVA-1.6 等。如果预算有限，可以用开源的 LLaVA 或 Qwen-VL 本地部署，但需要 GPU（至少 24GB 显存）。
- 传统视觉工具：OpenCV（用于图像裁剪、画框）、Selective Search 或 Faster R-CNN（用于候选框生成）、CLIP（用于粗筛）。
- 编程环境：Python 3.9+，主要依赖
openai（或对应模型的 SDK）、opencv-python、torch、transformers、Pillow。 - 评估数据集：RefCOCO、RefCOCO+、RefCOCOg、Flickr30K Entities 等标准视觉定位数据集，用于验证效果。
模型选型上，我的经验是：GPT-4V 和 Claude 3.5 Sonnet 在属性验证和关系推理上表现最好，Qwen-VL-Max 在中文场景下更稳，LLaVA-1.6 适合本地部署但精度稍差。如果做产品原型，建议先用 GPT-4V 跑通流程，再考虑替换成更便宜的模型。
4.2 完整流程的代码级拆解
下面我用伪代码把整个流程串一遍。假设输入是一张图片image.jpg和查询文本query = "戴眼镜穿蓝色衬衫的男人"。
第一步：场景解析。调用多模态大模型，提示词如下：
scene_prompt = """ 请详细描述这张图片的内容，包括： 1. 图片中有哪些物体/人物？ 2. 它们的位置关系（左/右/上/下/中间）？ 3. 它们的属性（颜色、大小、姿态）？ 请用自然语言描述，不要输出坐标。 """ scene_desc = call_vlm(image, scene_prompt)第二步：候选框生成。用 Selective Search 生成候选框，然后用 CLIP 粗筛：
import cv2 from selective_search import selective_search # 生成候选框 boxes = selective_search(image, scale=500, sigma=0.9, min_size=50) # 用 CLIP 粗筛 clip_scores = [] for box in boxes: cropped = crop_with_padding(image, box, padding=0.15) score = clip_similarity(cropped, query) clip_scores.append(score) # 保留 Top-20 top_boxes = boxes[np.argsort(clip_scores)[-20:]]第三步：验证问题生成。根据查询文本，自动生成验证问题：
def generate_verification_questions(query): # 这里可以用规则或另一个大模型来生成 questions = [ "这个区域里有物体吗？", "这个区域里有男人吗？", "这个男人戴眼镜吗？", "这个男人穿蓝色衬衫吗？" ] return questions第四步：逐候选验证。对每个候选框，裁剪后依次回答验证问题：
def verify_candidate(image, box, questions): cropped = crop_with_padding(image, box, padding=0.15) scores = [] for q in questions: answer = call_vlm(cropped, q + " 请回答是或否。") if "是" in answer: scores.append(1.0) else: scores.append(0.0) return np.prod(scores) # 所有问题都通过才得分第五步：排序与输出。对所有候选框的验证得分排序，输出最高分框：
final_scores = [] for box in top_boxes: score = verify_candidate(image, box, questions) final_scores.append(score) best_box = top_boxes[np.argmax(final_scores)] print(f"最终定位框：{best_box}")第六步：迭代修正。如果最高分低于阈值，触发修正：
if max(final_scores) < 0.6: # 策略一：扩大候选框 expanded_boxes = [expand_box(b, 0.3) for b in top_boxes] # 重新验证... # 策略二：重新解析场景 scene_desc = call_vlm(image, scene_prompt + " 请特别关注：" + query) # 重新生成候选框...4.3 参数选择与计算过程
几个关键参数需要根据实际情况调整：
候选框数量：初始候选框建议 100-200 个，粗筛后保留 20-30 个。太少会漏召回，太多会增加 API 调用成本。我的经验是，对于单目标查询，20 个候选足够；对于多目标或复杂场景，可以增加到 50 个。
Padding 比例：裁剪候选框时外扩 10%-20%。具体值取决于目标大小：小目标（占图片面积 <5%）建议 20%，大目标（>20%）建议 10%。可以用公式padding = max(0.1, 0.2 - 0.01 * target_area_ratio)动态调整。
验证阈值：最终得分阈值建议 0.6。如果所有候选都低于 0.6，说明模型对定位结果不自信，需要触发修正。这个阈值可以通过在验证集上跑一遍，画 ROC 曲线来确定。
迭代轮数：最多 3 轮。超过 3 轮后，边际收益递减，但成本线性增长。实测下来，90% 的查询在 1-2 轮内就能收敛。
4.4 实操现场记录：一次完整的定位过程
我用一张办公室照片测试，查询是“左边那个穿蓝色衬衫的男人”。图片里有五个人，三个穿蓝色衬衫，两个穿白色。
第一轮：场景解析输出“图片中有五个人，左边两个在交谈，中间一个在看电脑，右边两个在走路。左边第一个穿蓝色衬衫，第二个穿白色；中间穿灰色；右边两个都穿蓝色。”候选生成器生成了 150 个候选框，CLIP 粗筛后保留 25 个。验证问题包括“有男人吗？”“穿蓝色衬衫吗？”“在左边吗？”逐候选验证后，最高分是 0.8，对应左边第一个男人。定位成功。
第二轮测试：查询改成“右边那个戴眼镜的男人”。场景解析没有提到眼镜，因为图片分辨率不够，模型没看清。候选验证时，所有候选的“戴眼镜”问题都回答“否”，最高分只有 0.2。触发修正：重新解析场景，提示词强调“请仔细看每个人的面部，是否戴眼镜”。重新解析后，模型发现右边第二个男人戴眼镜。重新生成候选框，验证通过，定位成功。
这个案例说明：场景解析的粒度直接影响定位成功率。如果初始解析遗漏了关键属性，后续验证就会全部失败。所以提示词里要尽可能要求模型关注细节。
5. 常见问题与排查技巧实录
5.1 坐标输出不稳定怎么办
这是免训练方案最常见的问题。同一个查询，模型两次输出的坐标可能差 10%-20%。排查思路：
- 检查提示词是否要求了归一化坐标。如果模型输出绝对像素，方差会更大。
- 增加参考锚点。在提示词里加入“图片宽度为 W，高度为 H，目标在从左数第 X 个位置”，帮助模型校准。
- 多次采样取平均。对同一个查询调用模型 3-5 次，对坐标取平均值。实测下来，5 次平均可以把方差降低 50% 以上。
- 用验证问题反向校验。如果模型输出的坐标和验证问题的答案矛盾（比如坐标在右边，但“在左边吗？”回答“是”），说明坐标不可信，需要重新生成。
5.2 候选框召回率低怎么优化
如果目标根本不在候选框里，后续验证再准也没用。优化策略：
- 增加候选框数量。从 100 增加到 200，召回率通常能提升 10%-15%。
- 调整 Selective Search 参数。
scale参数控制分割粒度，值越小候选框越多但越碎。建议从 500 开始，逐步降到 200。 - 加入多尺度候选。对图片做不同比例的缩放（0.5x、1x、1.5x），分别生成候选框，然后合并。
- 用分割模型辅助。SAM（Segment Anything Model）可以生成高质量的区域提议，比 Selective Search 更准，但速度慢一些。
5.3 多目标场景下的歧义处理
当图里有多个相似目标时，模型容易混淆。比如查询“左边的猫”，图里有三只猫。处理技巧：
- 在验证问题里加入空间关系。“这只猫在图片左半部分吗？”比“这只猫在左边吗？”更明确。
- 用相对位置描述。“这只猫在桌子的左边吗？”利用已知物体的位置来消歧。
- 输出多个候选框。如果模型无法确定唯一目标，可以输出 Top-3 候选框，让用户选择。这在产品交互里很实用。
5.4 成本控制与性能优化
免训练方案的成本主要来自 API 调用。优化策略：
- 缓存场景解析结果。同一张图片的场景描述可以复用，不需要每次查询都重新解析。
- 粗筛用轻量模型。CLIP 比多模态大模型便宜得多，先用 CLIP 筛掉 80% 的候选框。
- 批量验证。把多个候选框拼成一张图，一次性送给模型验证，减少调用次数。
- 设置最大调用次数。比如单次定位最多调用 20 次 API，超过就返回当前最优结果。
5.5 常见问题速查表
| 问题现象 | 可能原因 | 排查方法 | 解决方案 |
|---|---|---|---|
| 坐标偏差大 | 提示词未要求归一化 | 检查输出格式 | 明确要求 0-1 归一化坐标 |
| 候选框漏目标 | 候选生成参数太严 | 可视化候选框 | 增加候选数量，调整 SS 参数 |
| 验证全部失败 | 场景解析遗漏属性 | 检查场景描述 | 重新解析，强调关键属性 |
| 多目标混淆 | 空间关系不明确 | 检查验证问题 | 加入相对位置描述 |
| 推理速度慢 | API 调用次数多 | 统计调用次数 | 缓存、粗筛、批量验证 |
| 成本过高 | 模型选型太贵 | 统计 token 消耗 | 换便宜模型，减少候选数 |
5.6 独家避坑技巧
技巧一：图片预处理很关键。如果图片分辨率太高（比如 4K），多模态大模型可能会降采样，导致小目标看不清。建议先把图片缩放到最长边 1024 像素，再送给模型。如果目标很小，可以裁剪出目标区域单独放大后再送。
技巧二：提示词里加“不要输出多余内容”。多模态大模型有时候会输出一堆解释，导致解析失败。在提示词末尾加上“请只输出 JSON，不要输出其他内容”，可以大幅提升解析成功率。
技巧三：用“否定问题”辅助验证。除了问“是蓝色吗？”，还可以问“是红色吗？”“是绿色吗？”如果模型对多个颜色都回答“是”，说明它颜色识别有问题，这个候选框不可信。
技巧四：建立错误案例库。每次定位失败，把图片、查询、模型输出保存下来。积累 50-100 个案例后，你会发现失败模式很集中，针对性地调整提示词或流程，效果提升很快。
技巧五：不要迷信单次结果。免训练方案的方差天然比训练方案大。在产品里，建议对同一查询跑 3 次，取众数或平均。如果 3 次结果差异很大，直接返回“无法确定”，让用户重新描述。这比返回一个错误结果体验更好。
6. 免训练视觉定位的边界与扩展方向
GroundingAgent 这类免训练方案，目前的能力边界很清晰：适合单目标、属性明确、场景不太复杂的查询。如果查询涉及多个目标、复杂关系（“左边那个人的右边那只猫”）、或者需要细粒度属性（“穿条纹衬衫”），失败率会明显上升。这不是 GroundingAgent 独有的问题，而是当前多模态大模型能力的共同瓶颈。
从扩展方向看，有几个思路值得尝试。一是引入外部工具，比如用 OCR 识别文字、用深度估计判断前后关系、用姿态估计判断动作，把这些工具的输出作为额外上下文送给大模型，可以显著提升复杂查询的定位精度。二是多模型集成，不同多模态大模型在不同属性上的敏感度不同，集成多个模型可以互补。三是人机交互修正，第一轮定位后让用户确认或修正，把修正结果作为反馈重新定位，这在产品场景里很实用。
我在实际测试中的体会是：免训练方案最大的价值不是替代训练方案，而是快速验证和冷启动。当你面对一个新领域、没有标注数据时，GroundingAgent 可以让你在几小时内跑通一个可用的定位原型，然后根据失败案例决定要不要投入标注和训练。这个“先跑通再优化”的思路，比一上来就搞大规模训练要务实得多。
最后分享一个小技巧：如果你要评估 GroundingAgent 在某个数据集上的效果，不要只看准确率（Acc@0.5），还要看召回率和平均 IoU。因为免训练方案的失败模式往往是“完全没找到”而不是“框偏了一点”，召回率能更真实地反映可用性。另外，建议在评估时记录每次定位的 API 调用次数和耗时，这对成本估算很重要。
