说到机器学习里的目标检测，很多刚入门的朋友第一反应是“不就是给图里的物体画个框嘛”。等你真把一个检测demo跑通，再回头看损失曲线、mAP、Anchor、NMS这些名词时，才会发现这个“框”字背后牵着一整套工程体系。目标检测要同时回答两个问题：物体在哪里，物体是什么。它比图像分类多了一个空间定位，又比图像分割少了一个像素级轮廓，刚好卡在视觉任务里最常用、也最考验调参功力的位置。这篇内容我按自己的理解，把目标检测从原理到实操梳理一遍，适合想系统入门、或者已经跑过开源代码但没理清细节的人参考。
1. 目标检测到底在解决什么问题
1.1 分类、定位、检测这三件事别混在一起
很多人把目标检测理解成“图像分类的进阶版”，这个说法对了一半。图像分类只要回答“这张图里有没有猫”，输出一个类别标签就完了。目标检测要复杂得多，它需要在图片中找出所有感兴趣的物体，给每个物体一个矩形框，并且告诉用户这个框里是什么类别。换句话说，输出不是一个数，而是一组结构化的结果：框的坐标、框的宽高、类别的置信度。
图像分割又不一样，它要求把物体的轮廓精确到像素级别，每个像素都要打上标签。目标检测处于中间位置，它不追求边界那么精细，但要求能同时处理多个物体、多个类别，还要区分重叠和遮挡的情况。打个生活化的比方：分类是“看到一屋子人，知道里面有人在开会”，检测是“指出每个人坐在哪个位置、谁是谁”，分割则是“把人体的轮廓精确抠出来”。这三种任务的难度递增，但目标检测因为要处理“位置+类别”的双重输出，在很多实际场景里反而是性价比最高的选择。
1.2 检测需求从哪里来，为什么这么火
目标检测的落地场景非常多，自动驾驶要检测车辆、行人、交通标志；安防监控要检测异常行为、人流密度；工业质检要检测产品表面的缺陷、零件的位置；医疗影像要检测结节、病灶区域；甚至文档识别也要先检测出表格、印章、文字块，再做后续识别。这些场景的需求点并不完全相同，有的看重实时性，车辆跑在路上每帧只有几十毫秒的处理时间；有的看重精度，漏检一个缺陷可能造成批量报废；有的看重小目标，无人机视角下的行人只有十几个像素大小。
这也是目标检测区别于其他视觉任务的地方：它不是一个“学术玩具”，而是大量行业方案的入口。我在实际项目里遇到的情况是，客户往往不会直接说“我需要一个检测模型”，而是说“我要能自动数清楚生产线上的螺丝数量”“我要能识别图片里的发票抬头位置”。这些需求翻译过来，都落在目标检测这个通用能力上。理解这一点非常重要，因为后面选模型、定指标、调参数，都会回归到“你的场景到底更怕漏检还是更怕误检”这个根本问题上。
2. 技术路线选型：从传统滑窗到端到端检测
2.1 传统方法为什么被淘汰
早些年做目标检测，思路比较直白：先用一个固定大小的窗口在图片上从左到右、从上到下地滑动，每滑到一个位置就截取一块图像区域，然后对该区域提取特征，再用分类器判断这里面有没有目标。特征通常是人手工设计的，比如HOG（方向梯度直方图）、SIFT、Haar特征等，分类器常用SVM、Adaboost。这套流程在特定场景下能工作，但问题非常明显：窗口尺度要试很多种，计算重复量大；手工特征对光照、形变、遮挡的鲁棒性差；一旦目标大小变化，检测效果就会剧烈波动。
到了深度学习时代，卷积神经网络可以自动学习特征，而且能一次从原始图像提取到高层语义信息。传统方法被迫让位的根本原因不是“老技术不努力”，而是在精度和泛化能力上被拉开了数量级的差距。今天如果不是做极低算力的嵌入式设备，基本不会有人再从滑窗和手工特征开始搭检测系统。
2.2 两阶段检测器：先粗筛再细判
以Faster R-CNN为代表的两阶段方法，思路非常好理解：第一阶段先用一个区域提议网络（RPN）在图片上找出可能含有目标的候选框，第二阶段再对每个候选框做细分类和位置精修。两阶段的最大好处是精度高，因为每一阶段的专注任务比较单一，正负样本也可以控制得比较稳定。在COCO数据集上，两阶段方法的mAP通常比同期的单阶段方法高出一截，尤其适用于对精度要求高、实时性要求相对宽松的场景。
不过两阶段也有明显的代价：速度慢。虽然Faster R-CNN用共享卷积特征的方式把RPN和检测头结合在一起，比R-CNN时代已经快了很多，但和后面的单阶段方法相比，仍然难以在普通GPU上实现超实时推理。我在早期项目里用过Faster R-CNN做过一次零件检测，精度确实不错，但部署到一台边缘设备上时，一帧处理时间接近200毫秒，很难满足产线节奏，最后不得不换成单阶段模型再做针对性优化。
2.3 单阶段检测器：一步到位，靠什么拉高精度
YOLO系列是单阶段方法里最典型的代表。它把目标检测重新定义成一个回归问题：把图片划分成网格，每个网格负责预测中心点落在自己范围内的目标，直接输出边框坐标和类别概率，不再单独做候选框提取。SSD也是同样的思路，但会使用多个尺度的特征图来检测不同大小的目标。单阶段最大的优势是极快的推理速度，而且结构简单，训练和部署都比较方便。早期YOLO在小目标检测上效果不好，后来依靠多尺度预测、特征金字塔、更精细的正负样本分配策略，逐渐追上了两阶段方法的精度。
实际选型时，我的经验是：如果项目对帧率有硬性要求，或者需要在嵌入式设备上运行，优先考虑单阶段；如果对精度极度敏感、速度可以容忍，可以先试试两阶段，再决定是否做剪枝量化。没有绝对的好坏，只有合不合适的折中。
2.4 Transformer进入检测领域后改变了什么
DETR让目标检测不再依赖手工设计的Anchor和NMS后处理，而是把检测看成一个集合预测问题。它用一组可学习的查询向量，通过Transformer的解码器直接输出一个固定数量的预测集合，再通过二分图匹配把预测和真实目标对应起来。这种范式让检测流程变得“端到端”，训练也不用管复杂的标签分配策略了。DETR的缺点是收敛速度慢、小目标表现一般，后续的Deformable DETR、DINO等做了很多改进，才真正把它推到实用边缘。
Transformer路线给我的感觉是，它把检测问题从“工程调参”向“算法设计”拉近了一步，减少了很多因为Anchor参数、NMS阈值带来的玄学成分。但部署时Transformer结构比CNN重，对推理优化要求更高，目前工业界大规模落地还是以轻量化的CNN检测器为主。做算法选型的人一定要明白：新范式虽然有意思，但最终还要看你手里的算力、工具链和数据规模。
3. 核心细节拆解：Anchor、IoU、NMS与损失函数
3.1 锚框到底在锚什么
Anchor（锚框）是一组预设的矩形框，比如尺寸为16x16、32x32、64x64，长宽比为1:1、1:2、2:1。模型在特征图的每个位置生成这些预设框，然后学习去修正它们的位置和大小，让它们尽可能贴合真实目标。为什么要这么设计？因为直接回归任意形状的边框太难收敛，给一个合理的初始猜测，模型只需要预测一个相对偏移量，训练起来稳定得多。这就像让你在广场上找一个人，如果没人告诉你大概范围，你可能满场乱转；如果先给你画几块区域，你再微调位置，效率就高了。
Anchor的设计直接影响检测效果。基础版本会使用FPN在多个特征层设置不同尺度的Anchor，大特征图负责小目标，小特征图负责大目标。很多框架支持自动统计训练集真实框的尺寸分布，再聚类出合适的Anchor参数，而不是硬编码。我在用某些开源仓库时，经常看到有人直接跑默认参数，遇到小目标数据也不更新Anchor，最后mAP偏低，其实问题很可能就出在这里。
3.2 IoU和标签分配：谁才是正样本
IoU（Intersection over Union）是预测框和真实框的交集面积除以并集面积，衡量两个框的重合程度。目标检测的标签分配普遍依赖IoU：如果一个Anchor和某个真实框的IoU超过某个阈值，就把它当作正样本，让它去学习预测这个真实框；IoU特别低的Anchor则是负样本；落在中间区域的Anchor一般直接忽略，不参与损失计算。这个设计决定了模型从哪些样本中学习，选阈值很关键。阈值设太高，正样本太少，模型学不到东西；阈值设太低，样本质量差，模型会被错框带偏。
单阶段检测器后来流行ATSS、OTA这类自适应标签分配策略，不再用固定阈值，而是根据统计特性动态选正样本。这说明“分配策略”和模型结构同等重要。当年我调试一个细长零件检测项目时，默认用0.5阈值结果漏检严重，后来把阈值调低一些，并引入按形状匹配的Anchor，效果立刻提升。做检测调试，不要只盯着模型结构，标签分配才是最容易被忽视的瓶颈之一。
3.3 NMS后处理是怎么去掉重复框的
模型在推理时往往会在同一个目标周围输出多个高置信度预测框，NMS（Non-Maximum Suppression，非极大值抑制）负责在这些候选框里挑出最合适的那个。基本逻辑是：先把所有框按置信度从高到低排序，取置信度最高的框保留，再把它和剩余框的IoU算一遍，若IoU超过阈值就把那个框删除，然后重复这个操作，直到所有框都处理完。这个阈值如果设得偏高，重叠的框会残留，误检增多；设得偏低，相邻很近的物体可能会被合并掉，造成漏检。
在密集人群、紧密堆叠的箱体、文字检测这类场景里，NMS特别容易误删。这时候有人会改用Soft-NMS，不是直接删除高IoU框，而是按重叠程度降低其置信度，给真正属于另一个目标的框留余地。还有一个细节是：多个类别的框要不要分开做NMS？有些框架会统一对所有类别做NMS，有些会分类别做，效果差别很大。我建议在部署前先看可视化结果，不要完全依赖默认配置。
3.4 损失函数：分类和回归如何一起优化
检测模型的损失通常由三部分组成：分类损失、回归损失、置信度损失（如果网络有objectness分支）。分类损失常用交叉熵或Focal Loss，Focal Loss专门解决正负样本不平衡的问题，让模型更关注难分类的样本；回归损失通常计算预测框和真实框的偏差，早期用Smooth L1，后来普遍使用IoU系列损失，比如GIoU、DIoU、CIoU。这些损失不只是看坐标偏差，还考虑框的重合率、中心点距离、长宽比等因素，更接近最终的评价标准。
把三类损失加在一起时，需要给每个部分设置权重，常见配置是class:box:obj=0.5:0.05:1.0，但具体数值跟数据集和模型有关。我见过不少新手发现loss曲线下降得很漂亮，但mAP不高，就是因为分类项太“容易”，回归项没学好。一个很实用的经验是：单独打印每个分项的loss，而不是只盯总loss，这样哪个环节出问题一目了然。
4. 从数据到部署：检测模型训练的完整实操
4.1 数据准备与标注格式，先统一再开工
开始训练前，最耗时的是数据准备。目标检测的数据必须同时提供图片和标注框，标注格式通常有VOC的XML、COCO的JSON、YOLO的TXT。COCO格式把图片信息、标注信息、类别信息放在一个JSON文件里，适合使用MMDetection、Detectron2这类框架；YOLO格式则是一个图片对应一个TXT文件，每行是“类别编号 cx cy w h”，其中cx、cy是中心点相对于图片宽高的比例，w、h也是相对于图片宽高的比例。注意YOLO格式的坐标是归一化的，如果用绝对像素坐标，模型训练会直接出问题。
数据质量比数据量更重要。我检查数据时一般会做三个动作：一是可视化标注，看框是否贴边、类别是否标错；二是统计目标尺寸分布，看是不是大量小目标；三是检查类别数量是否均衡。标注框贴得太松或太紧都会影响回归精度，特别是有倾斜角度、遮挡、重叠的物体，一定要定好标注规范。否则模型学到的不是“目标特征”，而是“标注员习惯”。
4.2 工程框架选型：MMDetection、Detectron2还是Ultralytics
开源检测框架现在很成熟。如果追求算法覆盖面广、想用最新论文方法，MMDetection是很好的选择，它集成了大量经典模型，配置文件和训练流程高度统一，适合做学术对比和自定义实验；Detectron2是另一个功能强大的框架，代码组织清晰，扩展性也强，在工业项目里同样常见；Ultralytics YOLO系列最省心，开箱即用，训练命令简单，适合快速做原型验证和中小型项目落地，文档和社区也很活跃。
框架没有绝对优劣，关键是看团队熟悉度。我的建议是：刚入门或做项目验证时，先用Ultralytics跑通完整流程，建立直观感受；如果后续要魔改网络结构、设计特殊损失，再用MMDetection这类更灵活的框架。千万不要一开始就陷入框架源码里，调框架的时间比调模型的时间还长，对项目没有任何帮助。
4.3 训练参数到底怎么定，背后有什么逻辑
检测模型的训练参数通常包括输入尺寸、批大小、学习率、训练轮数、数据增强策略等。输入尺寸决定了目标在图像中的相对大小，一般YOLO系列默认640x640，如果你的目标很小，适当提高到960或1280会有帮助，但要兼顾显存和推理速度。批大小影响训练稳定性，显存允许时尽量用较大的batch，学习率要根据batch size做线性缩放。初始学习率太高会导致loss震荡，太低则收敛很慢。
数据增强是提升泛化能力的关键手段。Mosaic增强会把四张图拼在一起训练，增加目标尺度和上下文多样性；随机透视、旋转、颜色扰动都能帮助模型适应不同环境。但增强也要适可而止，过强会把目标弄到完全看不出原本特征，尤其对文本、小零件这类对细节敏感的物体，反而会伤害性能。训练轮数方面，小数据集一般100到300轮就够，重点看验证集mAP是否有平台期，而不是机械地跑到固定轮次。
4.4 评估模型不能只看mAP，部署前还要做这些
训练结束后，大家习惯用mAP评估模型，但mAP只是一个汇总指标。实际项目更重要的是观察PR曲线、AP50、AP75、不同类别分别的AP、小中大型目标的AR等。AP50表示IoU阈值0.5下的精度，对宽松框容忍度高，适合目标小、定位难的任务；AP75要求更严格，适合对框精度要求高的场景。模型部署前还要测试实际推理帧率、模型大小、CPU/GPU占用、量化后精度损失。我做过一个例子，模型mAP不错，但转成TensorRT后小目标AP掉了8个点，后来通过调整校准集才恢复。
评估集最好从真实场景采集，不要只用公开数据集。公开数据集干净、分布均匀，和真实环境下光照、遮挡、相机角度差异很大。宁可评估集小一点，也要保证能代表现场情况。这一点在目标检测项目里比模型本身更决定成败。
5. 真实场景里的坑：问题排查速查表
5.1 小目标检测效果差怎么办
小目标一直是检测难点，核心问题是特征分辨率不够。一个在320x320图片里只有10x10像素的目标，经过多层下采样后，在特征图上可能只剩一个点，几乎没有语义信息。解决思路有三条：提高输入分辨率，让目标占更多像素；使用更高分辨率的特征图，例如在FPN中增加P2层；或者把原始大图切成多个小图分别检测，再合并结果。还有一种很有效的做法是在训练阶段多做小目标相关的增强，比如随机缩放目标、复制粘贴小目标到不同位置。
如果项目里小目标占比本来就少，模型自然会对大目标过拟合。建议先统计数据集中小目标的比例，如果低于10%，要么补数据，要么做针对性重采样。很多人只改模型不分析数据，小目标问题很长时间都解决不了。
5.2 训练Loss不降或NaN，先别怀疑模型
Loss不降最可能的原因包括：学习率太大导致在最优解附近震荡；数据标注有大量错误，模型学到互相冲突的规律；正样本分配策略不适合当前数据，导致正样本太少；还有可能是类别编号从1开始而代码希望从0开始。我排查这类问题时会先做一个小数据集过拟合测试，取几十张图训几十轮，如果loss能降到很低，说明模型和代码没问题，问题出在全量数据的加载或标注上。
出现NaN，常见原因是学习率过高、loss中有除零操作、回归目标出现超大数值、或者浮点溢出。先降低学习率，再看代码里有没有对零做保护，还要检查标注文件中是否有超出图片边界的负数坐标。这类问题只要耐心一点，把报错堆栈和输入数据对照起来看，通常很快能定位。
5.3 误检和漏检太多，评估指标救不了你
误检和漏检要分开处理。误检通常表现为把背景或相似物体识别成目标，可能的原因是背景样本不够、类别相似度过高、置信度阈值设过低。漏检则可能是目标尺寸太小、遮挡严重、训练数据中该场景太少。我的排查顺序是：先从验证集里抽一批badcase可视化，统计误检漏检各自占比；如果是误检，提高conf_thres或在训练数据里增加负样本和难负例挖掘；如果是漏检，先看是不是小目标问题，再考虑增加该类别的训练权重。
有时模型在两个相似类别之间混淆，比如把“螺丝”和“螺栓”经常搞混。这种情况单纯增加数据不太管用，不如考虑合并类别，或者增加细粒度分类特征。产品需求里如果只需要区分“紧固件”，那模型就没必要去学习细分，降低问题难度也是工程能力。
5.4 类别不均衡和标注噪声怎么处理
类别不均衡在检测里比分类更棘手，因为背景框数量本身就远大于目标框。常用方法包括：类别重采样，让每轮训练中各类别数量尽量接近；在loss中对少数类加大权重；或者利用Focal Loss降低大量简单负样本的干扰。但如果一个类别样本本身就极少，比如只有几十张，任何技巧都很难奏效，优先考虑补数据或做人工合成。
标注噪声则需要靠数据清洗来解决。我见过一些项目把标注任务外包后，没有做复检，结果几十万的框里存在约5%的错标、漏标。这样的数据集训练出的模型，mAP上限被锁死，怎么换模型都突破不了。所以投入人力做可视化抽检，确保锚框贴边、类别正确，永远比换更强的backbone更划算。
| 问题现象 | 常见原因 | 排查与解决方向 |
|---|---|---|
| Loss不下降 | 学习率太大、标注错误、正样本太少 | 小数据过拟合测试、降低lr、检查标签分配 |
| 训练出现NaN | lr过高、除零、坐标越界 | 调小lr、检查代码保护、检查标注坐标 |
| 小目标漏检 | 分辨率不足、下采样过深 | 提高输入尺寸、增加P2层、切图检测 |
| 误检多 | 置信度低、背景样本少、类别混淆 | 提高阈值、增加负样本、难例挖掘 |
| 类别不均衡 | 长尾分布、少数类样本少 | 重采样、loss加权、补数据 |
6. 我的一点体会和后续可以扩展的方向
在实际项目里，踩过最多次的坑不是模型选型，而是数据一致性和评估基准。很多人一开始就把精力放在“哪个模型mAP更高”上，结果训练数据里存在大量标注偏差，模型越调越虚。我自己后来定了一个死规矩：任何检测项目启动前，先做一次数据体检，把标注质量、类别分布、目标尺寸分布、场景覆盖度全部量化出来，再决定模型方案。这一步看起来不够“技术”，但对项目成功率的影响往往比换模型大得多。
如果你已经能熟练完成一个检测模型的训练和部署，下一步可以尝试的方向是半监督学习，用少量标注数据加大量无标注数据继续提升精度；或者尝试轻量化模型，比如通过蒸馏把大模型的能力迁移到小模型上；还可以关注开放世界检测，让模型在推理时能够发现训练中没见过的类别。目标检测这个方向发展了这么多年，底层框架已经非常成熟，真正的门槛从来都是对细节的理解和对场景的洞察。希望这篇内容能帮你少走我走过的弯路。
