模型上线前的最后一道关卡，往往不是调参，而是你手里那把"尺子"量得对不对。我见过太多团队把 accuracy 刷到 99% 就开香槟，结果一上真实流量,漏检的样本全是关键类别，业务方直接炸锅。也见过有人辛辛苦苦训完一个检测模型，拿 mAP 一算只有 0.3，回头一查发现是 IoU 阈值和标注格式没对齐，白折腾三天。机器学习评价指标这件事，看着是教科书第一章的内容，实际上是最容易翻车、最容易被想当然的一块。这篇文章我想把分类、回归、目标检测这几大任务的指标体系从头到尾捋一遍，讲清楚每个指标是怎么来的、什么时候该用、什么时候会坑你，以及那些文档里不会写的实操细节。不管你是刚入门跟着课做作业，还是已经在调业务模型，应该都能从里面找到点能直接用的东西。
1. 分类任务的地基：从混淆矩阵说起
分类是所有评价指标的起点，而混淆矩阵是分类指标的母体。搞不懂混淆矩阵，后面所有的 Precision、Recall、F1 全都是空中楼阁。
1.1 混淆矩阵：四个格子撑起一片天
二分类的混淆矩阵就四个格子，但含义要嚼透：
| 预测为正 | 预测为负 | |
|---|---|---|
| 实际为正 | TP（真阳性） | FN（假阴性） |
| 实际为负 | FP（假阳性） | TN（真阴性） |
- TP：本来是正类，模型也说它是正类，判对了。
- FN：本来是正类，模型说它是负类，漏了。
- FP：本来是负类，模型说它是正类，误报了。
- TN：本来是负类，模型也说负类，判对了。
很多人背这四个缩写背得滚瓜烂熟，一到实际场景就分不清谁是"漏"谁是"误"。我教你一个记法：FN 里的 N 是 Negative，表示模型给出的判断是负的，但它错了（False），也就是把正的说成了负的，这就是漏检；FP 里的 P 是 Positive，模型说是正的但错了，即把负的说成正的，这就是误报。记住"缩写的第二个字母是模型说了什么，第一个词 False 表示它说错了"，基本就不会混。
为什么强调这个？因为后面所有指标的本质，都是在 TP、FP、FN、TN 这四个数之间做加减乘除的排列组合。搞懂了这个，指标就不再是抽象公式。
1.2 Accuracy 的失效：一个真实到离谱的例子
准确率公式简单得不能再简单：Accuracy = (TP + TN) / (TP + TN + FP + FN)，说白了就是预测对的占总数的比例。它好用、直观，但也最容易被类别不平衡玩弄于股掌之间。
假设一个场景：1000 个样本里，正类只有 10 个，负类 990 个，这是典型的极度不平衡。现在我把模型写死成一个"永远输出负类"的废物模型，它一个正类都识别不出来，但准确率是多少？
Accuracy = (0 + 990) / 1000 = 99%99% 的准确率，模型却完全没有业务价值。这就是为什么在欺诈检测、疾病筛查、缺陷检测这些正类稀少的场景里，光看 accuracy 会死得很惨。
我个人的经验是：只要你的正负样本比例超过 1:4，就应该对 accuracy 保持高度警惕，必须配合 Recall 一起看。如果超过 1:20，说实话 accuracy 基本可以直接扔掉了。
这里补充一句，类别不平衡的处理本身也是个话题。有人会去做重采样、SMOTE 合成、或者调类别权重，这些动作做完之后，评价指标的口径也得跟着变，否则你会被一个"变好看"的 accuracy 骗得更彻底。
1.3 Precision 和 Recall：一对永远在打架的兄弟
精确率（Precision）和召回率（Recall）是分类任务里最核心的一对指标：
Precision = TP / (TP + FP)：在模型判为正的所有样本里，真正是正的比例。它关心的是"我说是正的那些，有多少是对的"，衡量的是准不准。Recall = TP / (TP + FN)：在所有真正的正样本里，被模型找出来的比例。它关心的是"真正是正的那些，我找到了多少"，衡量的是全不全。
用生活化的场景理解：假设你是小区保安，负责从进出人群里揪出小偷（正类）。
- 你把 100 个人拦下来搜身，结果只有 5 个真是小偷，另外 95 个是冤枉的好人 —— 这就是 Precision 低，你误报太多，严重影响正常人通行。
- 小区今天真进来了 20 个小偷，你只抓到了 3 个，另外 17 个溜了 —— 这就是 Recall 低，你漏检太多，安全形同虚设。
关键在于，Precision 和 Recall 通常是此消彼长的。你想把 Recall 拉高，就放宽判定标准，宁可错杀一千不放过一个，那 Precision 必然下降；你想把 Precision 拉高，就收紧标准，只抓最像的，那 Recall 就掉下来了。它们之间没有一个放之四海皆准的平衡点，完全取决于业务对"漏"和"误"的容忍度。
提示：选择偏向哪个指标，先问业务方一个问题——"漏掉一个正样本和误报一个负样本，哪个代价更大？"这个问题的答案，就是你阈值该往哪边调的方向。
2. 把 Precision 和 Recall 捏成一个数：F 系列与曲线指标
Precision 和 Recall 分开看有时候太啰嗦，尤其你要在几十个模型之间比高低时，需要一个能同时兼顾两者的综合分数，这就引出了 F 系列和曲线类指标。
2.1 F1 为什么用调和平均而不是算术平均
F1 的定义是：F1 = 2 * Precision * Recall / (Precision + Recall)，本质是 Precision 和 Recall 的调和平均。
很多人第一次看到会问：为什么不直接取平均值(P + R) / 2？关键在于调和平均的数学性质——它对较小值极其敏感。举个例子，模型 A 是 P=0.9、R=0.1，模型 B 是 P=0.5、R=0.5：
- 算术平均：A = 0.5，B = 0.5，看起来一样。
- 调和平均：A = 2×0.9×0.1/(0.9+0.1) = 0.18，B = 0.5。
F1 直接揭穿了 A 的伪装。一个 Precision 高上天但 Recall 极低的模型，本质上是残缺的，F1 用调和平均把这个短板放大出来，逼你两个都做好。这就是为什么 F1 成了综合指标里的常青树。
2.2 F-beta：给 Precision 或 Recall 加权重
F1 是 P 和 R 等权重。但现实里两者往往不平等，于是有了 F-beta：
F_beta = (1 + beta²) * P * R / (beta² * P + R)
beta > 1时，Recall 权重更高；beta < 1时，Precision 权重更高。
什么时候用 beta 不等于 1？举个实际例子：做医疗筛查时，漏诊（FN）的代价远高于误诊（FP），因为漏掉一个病人可能致命，误报大不了再复查一次，这时你会用 F2 或更高，把 Recall 顶上去。反过来，做垃圾邮件拦截时，误把重要邮件扔进垃圾箱（FP）比漏掉一封垃圾邮件更烦人，这时用 F0.5 更合适。
我在做推荐系统召回阶段时，习惯先看 Recall@K，因为召回层的核心任务就是"别漏"，精排才去管精度。这个思路和 F-beta 的取舍逻辑是一致的。
2.3 PR 曲线与 ROC/AUC：别再无脑用 AUC 了
阈值调来调去终究是麻烦事，于是有了不依赖单一阈值的曲线指标。
PR 曲线以 Recall 为横轴、Precision 为纵轴，把阈值从 1 滑到 0，每个阈值对应一个 (R, P) 点，连成一条曲线。曲线下的面积就是AP（Average Precision），这个 AP 在目标检测里也是核心角色，后面还会细讲。
ROC 曲线以假正率 FPR 为横轴、真正率 TPR（其实就等于 Recall）为纵轴，同样扫描所有阈值。ROC 曲线下的面积就是AUC。
这里有个非常关键的实操点：在类别极度不平衡时，ROC 曲线会给出过于乐观的假象，此时应该优先看 PR 曲线。
原因是 FPR = FP / (FP + TN) 的分母里包含大量 TN，当负样本极多时，FP 再怎么增加，FPR 变化都不大，ROC 曲线依然平滑好看。但 PR 曲线的 Precision 分母是 TP + FP，对 FP 极其敏感，一点点误报就会让曲线明显下压。所以在正类稀少的安全、医疗、风控场景，我基本以 PR-AUC（也叫 AP）为准，而不是 AUC。
注意：AUC 有一个特殊含义容易被忽略——它等价于"随机取一个正样本和一个负样本，模型给正样本打分高于负样本的概率"。所以 AUC = 0.5 意味着模型完全没有区分能力，等于抛硬币。
3. 多分类与不平衡场景的指标陷阱
一旦类别从 2 个变成 N 个，P、R、F1 的计算方式就要重新定义，这里藏着几个特别容易翻车的地方。
3.1 Macro、Micro、Weighted：三种平均的差异
多分类下计算 P、R、F1 有个前提问题：每个类别单独算完 P、R、F1 后，怎么合并成一个总数？常见三种：
| 平均方式 | 含义 | 特点 |
|---|---|---|
| Macro | 各类别指标直接取算术平均 | 每个类别等权，小类也有话语权 |
| Micro | 先汇总所有 TP、FP、FN 再算指标 | 被大类别主导 |
| Weighted | 按各类别样本数加权平均 | 折中，样本多的类别影响大 |
举个具体的：三类问题，类别 1 有 900 个样本，类别 2 和类别 3 各 50 个。
- Macro-F1 会把这三类一视同仁，如果模型在小类上表现很差，Macro-F1 会被狠狠拉低，这是好事，因为它暴露了模型对小类的无能。
- Micro-F1 在单标签多分类里，其实等于 Accuracy，因为它把大类的贡献淹没了小类，指标会显得很漂亮。
- Weighted-F1 介于两者之间。
我的经验法则：如果业务里小类同样重要（哪怕是罕见病、稀有故障），用 Macro；如果业务关心整体正确率，用 Weighted；如果只是想报告一个和 accuracy 对齐的数，用 Micro。绝对不要不看口径就直接对比两个模型的 F1，一个报 Macro 一个报 Micro，能差出十几个点。
3.2 MCC 和其他被低估的指标
在极端不平衡场景，有个指标比 F1 还稳，叫Matthews 相关系数（MCC）：
MCC = (TP*TN - FP*FN) / sqrt((TP+FP)(TP+FN)(TN+FP)(TN+FN))
它的取值在 -1 到 1 之间，1 表示完全预测正确，0 表示和随机猜一样，-1 表示完全相反。MCC 同时考虑了混淆矩阵的四个格子，所以在不平衡数据上比 F1 更全面。我做过一个缺陷检测项目，正样本占比不到 1%，当时 accuracy 是 0.98，F1 是 0.6，而 MCC 只有 0.35——MCC 最诚实，它告诉你模型其实没强到哪去。
此外还有Cohen's Kappa，衡量的是"模型比随机猜测好多少"，在标注一致性评估里也常用。如果你在做标注质量校验，Kappa 值低于 0.6 基本说明标注员之间分歧太大，数据得返工。
3.3 不平衡数据下选指标的实操清单
踩过几次坑之后，我总结了一份选指标的顺序：
- 先看正负比例，超过 1:4 就警惕 accuracy；
- 分类别画出混淆矩阵，找出到底哪个类被牺牲了；
- 优先级排序：Recall 还是 Precision 更关键，选 F-beta；
- 报告时同时给 PR-AUC 和 MCC，别只给一个 F1；
- 如果多分类，明确标注你用的是 Macro 还是 Weighted。
4. 回归任务：MAE、MSE、RMSE 与 R² 的爱恨情仇
分类指标讲完，换个战场。回归任务预测的是连续值，指标逻辑和分类完全不同，但同样有坑。
4.1 MAE、MSE、RMSE：量纲和异常值敏感度
假设预测值 ŷ，真实值 y，样本数 n：
- MAE（平均绝对误差）=
(1/n) * Σ|y - ŷ| - MSE（均方误差）=
(1/n) * Σ(y - ŷ)² - RMSE（均方根误差）=
sqrt(MSE)
三者关系很微妙。MSE 因为平方，对大误差惩罚极重，一个离谱的离群点能把 MSE 拉爆。RMSE 开了根号，量纲和原始 y 一致，比 MSE 好解释。MAE 对异常值最鲁棒，因为它只是取绝对值，不放大误差。
选择逻辑很简单：如果你的数据里离群点本身就是噪声、你不希望模型被它们带偏，用 MAE；如果大误差代价高昂、你想惩罚它们，用 MSE/RMSE。比如预测房价，偶尔有个天价豪宅的离群点，用 MAE 更稳；预测服务器负载，一旦低估会雪崩，那就该用 RMSE 狠狠惩罚低估。
需要提醒的是，MSE 和 RMSE 单调等价（RMSE 就是 MSE 开根号），选哪个只是量纲和可解释性问题，模型优化目标上没本质区别。
4.2 MAPE 的隐形炸弹
MAPE（平均绝对百分比误差）=(1/n) * Σ|(y - ŷ)/y|，因为用了百分比，跨量纲对比很方便，很多业务报表爱用。但它有个致命陷阱：当真实值 y 接近 0 时，分母趋近于 0，MAPE 会爆炸。
我踩过这个坑，一次做用电量预测，某些时刻用电量接近 0，MAPE 直接飙到几千，完全没法看。后来换成sMAPE（对称 MAPE）：分母用(|y| + |ŷ|)/2，缓解了分母过小的问题，但也没完全解决。再后来干脆用 MAE 归一化（把 MAE 除以 y 的平均值）来替代，才稳定下来。
提示：任何带除法、分母含 y 的指标，先检查数据里有没有零值或极小值，有的话基本要换指标。
4.3 R² 到底在衡量什么
R²（决定系数）=1 - SS_res / SS_tot，其中 SS_res 是残差平方和，SS_tot 是真实值的总平方和（相对于均值的波动）。
R² 的含义是：模型解释了目标变量多少比例的方差。R² = 0.9 表示模型解释了 90% 的方差波动。它有个反直觉的性质——R² 可以是负数。当模型比"直接预测均值"还差时，SS_res > SS_tot，R² 就小于 0。所以看到负的 R² 别惊讶，说明你的模型还不如什么都不学、直接输出平均值。
另外要注意，加特征不一定让 R² 提升，但一定不会让它大幅下降，因为特征多了总能拟合得更好一点，这就有了过拟合风险。所以对比模型时，优先看调整 R²（Adjusted R²），它对特征数量做了惩罚。这也是为什么在特征工程报告里，直接给 R² 会误导人。
5. 目标检测的指标世界：IoU 与 mAP 的完整链条
目标检测的评价指标是另一套体系，因为它的输出不是单一的类别，而是"框 + 类别 + 置信度"的组合。这一套最绕，也最容易算错。
5.1 IoU：两个框有多"重叠"
IoU（交并比）是目标检测一切指标的基础：
IoU = 交集面积 / 并集面积
给定预测框 A 和真实框 B，IoU 就是它们重叠区域的面积除以它们合并覆盖的总面积，取值范围 0 到 1。IoU = 1 表示完全重合，IoU = 0 表示完全不沾边。
判断一个预测框是不是"命中"了某个真实框，就看 IoU 有没有超过阈值，通常取 0.5。超过就算 TP，没超过就算 FP。
这里有个实操细节很多人会忽略：IoU 对框的大小不敏感，但对位置偏移敏感。一个大框稍微偏一点，IoU 还能保持在 0.7 以上；一个小框偏同样的像素距离，IoU 可能直接掉到 0.3。这就是为什么小目标检测特别难，同样的定位误差对大目标无所谓，对小目标就是致命的。热搜里经常出现的"小目标检测"难点，本质就在这个指标特性上。
5.2 检测任务里 Precision 和 Recall 的重新定义
在检测里，TP / FP / FN 的定义变了：
- TP：预测框与某个真实框 IoU ≥ 阈值（如 0.5），且类别正确。
- FP：预测框没匹配上任何真实框（IoU 不够或类别错），或者匹配到了但已经被别的更高分框占用了。
- FN：某个真实框没有任何预测框匹配上。
注意"匹配"这件事是有顺序的：通常按预测框的置信度从高到低排序，一个个去匹配还没被占用的真实框，先到先得。这个匹配顺序非常关键，不同的实现细节（比如分数相同的框怎么排序）会导致最终指标有微小差异，这也是为什么你自己算的 mAP 和官方脚本算的对不上时，第一个要查的就是匹配逻辑。
Precision 和 Recall 的公式形式不变，但含义变成了"检测框级别"的统计：Precision = TP / (TP + FP)，Recall = TP / (TP + FN)。
5.3 AP 与 mAP：从单类别到全类别
对单个类别，把所有预测框按置信度从高到低排序，逐个累加计算 Precision 和 Recall，就能画出一条 PR 曲线，曲线下面积就是AP（Average Precision）。
AP 的计算有两种主流方式：
- 11 点插值（VOC 2007 及以前）：在 Recall 取 0, 0.1, 0.2, ..., 1.0 这 11 个点上，取每个点上 Precision 的最大值（取该点右侧最大的 precision），再平均。
- 全点插值（VOC 2010 之后、COCO）：对 PR 曲线做单调递减修正（每个点的 precision 取它右侧的最大值），然后计算面积。
mAP（mean Average Precision）就是把所有类别的 AP 再取平均。多类别检测里，每个类各自算 AP，然后求均值，就是 mAP。
这里最容易混淆的是各种 mAP@ 后缀：
| 指标 | 含义 |
|---|---|
| mAP@0.5 | IoU 阈值固定为 0.5 |
| mAP@0.75 | IoU 阈值固定为 0.75，更严格 |
| mAP@[.5:.95] | IoU 从 0.5 到 0.95，步长 0.05，共 10 个阈值取平均 |
COCO 官方主推的是 mAP@[.5:.95]，也叫mAP@0.5:0.95，因为它在多个 IoU 阈值下评估，更能反映定位精度的整体水平。很多论文里说的 "COCO mAP" 默认就是这个。
5.4 VOC 与 COCO 口径对不上的血泪史
我自己就栽过这个坑。有一次拿两个模型对比，A 模型报 mAP 0.52，B 模型报 0.48，我以为 A 更强，结果仔细一看，A 报的是 VOC 口径（mAP@0.5），B 报的是 COCO 口径（mAP@0.5:0.95），两者根本不是一个尺度，没法比。
对比检测模型时必须对齐的三件事：
- IoU 阈值口径：0.5 还是 [.5:.95]；
- AP 插值方式：11 点还是全点；
- 类别与数据集划分：是不是同一套类别定义、同样的 test set。
还有一个细节是难度分层。COCO 会把目标按尺寸分成 small（面积 < 32²）、medium、large 分别统计 AP，因为大目标和小目标的难度差异巨大。如果你的模型在 small 上 AP 很低，即使总 mAP 看着还行，实际部署到需要检测小目标的场景（比如无人机航拍、遥感图像）时依然会拉胯。
补充一下，随着技术发展，现在还有开放词汇目标检测、多模态微调目标检测这些新方向，它们的评价指标依然沿用 mAP 体系，但因为类别是动态的、不固定的，评估时如何定义"正确的类别匹配"就成了新的难点，通常需要额外的语义相似度判断，这块目前还没有完全统一的行业标准。
6. 指标算不对？一套排查链路帮你定位
讲了这么多指标，最后说说最让人抓狂的问题：为什么我自己算的指标和别人的对不上？这套排查思路是我踩了无数次坑总结出来的。
6.1 排查顺序：从数据到逻辑逐层过
按这个顺序查，基本能覆盖 90% 的问题：
- 数据本身对齐了吗：预测文件和标注文件的样本顺序是否一致？有没有漏样本、多样本？
- 类别映射对吗：类别 id 和类别名的映射有没有错位？检测里类别索引从 0 还是 1 开始，差一位能毁掉整张表。
- 坐标格式统一吗：检测框是 [x1,y1,x2,y2] 还是 [x,y,w,h]？是绝对坐标还是归一化坐标？这个不统一，IoU 全错。
- 匹配阈值一致吗：对方用 0.5 你用 0.45，结果自然不同。
- 排序与去重逻辑：置信度相同的框排序规则、NMS 的 IoU 阈值是否一致。
- 平均方式：macro 还是 micro，是否包含背景类，类别集合是否完全一致。
每次排查我都是从上往下逐层验证，绝不跳步。尤其是第 3 条，坐标格式问题害我浪费过整整一天。
6.2 用一个最小例子手算验证
最靠谱的验证方法，是造一个你能心算出来的超小例子，手动推一遍，再和代码结果对。比如二分类只有 4 个样本：
from sklearn.metrics import precision_score, recall_score, f1_score y_true = [1, 1, 0, 0] y_pred = [1, 0, 0, 1] print("Precision:", precision_score(y_true, y_pred)) # 1/(1+1) = 0.5 print("Recall: ", recall_score(y_true, y_pred)) # 1/(1+1) = 0.5 print("F1: ", f1_score(y_true, y_pred)) # 0.5手算：TP=1（第一个样本），FP=1（最后一个），FN=1（第二个），TN=1（第三个）。所以 P = 1/2 = 0.5，R = 1/2 = 0.5，F1 = 0.5。代码输出一致，说明你理解对了。如果代码输出不一致，那问题一定在你没注意到的参数上，比如average参数、pos_label设置。
对于检测的 mAP，可以造一个"预测框和真实框完全重合、类别全对"的理想情况，此时所有指标应该都接近 1.0。如果算出来不到 1，那必然是匹配或坐标逻辑有问题，一查一个准。
6.3 指标监控上线以后别停
最后一个经验之谈：指标不是一次性算完就完事的东西。模型上线后，数据分布会漂移（data drift），训练时的 0.95 不代表线上还是 0.95。建议：
- 线上持续采样，定期重算指标，画出趋势曲线；
- 对关键指标设置监控告警，比如线上 Recall 掉到阈值以下就通知；
- 保留一个固定不变的"黄金测试集"，用于跨版本对比，避免每次换测试集导致指标不可比；
- 如果条件允许，人工抽验一批线上样本，看看指标和真实体感是否一致——有时候指标好看但用户体验差，往往是你的指标没覆盖真正的业务目标。
我在一个项目里就遇到过这种情况：离线 F1 高达 0.88，上线后业务投诉不断，最后发现测试集的分布和线上完全不是一回事，线上小目标占比高得多，而测试集几乎没有小目标样本。指标本身没错，错在用它的人没有检查数据代表性。
所以回到最开始那句话，指标不是终点，它只是一把尺子。选对尺子、用对尺子、并且时刻记得尺子量的是不是你以为的那个东西——这才是机器学习工程师真正的功课。
