简介：这份资源面向计算机视觉方向的学习者与开发者，聚焦行人重识别（ReID）这一跨摄像头身份匹配任务，提供一套基于 Python 与深度学习的完整项目实现，适合具备一定神经网络基础、希望动手复现或改进 ReID 系统的中高级读者。压缩包共 11 个文件，全部为 py 源码，整体约 18KB，涵盖数据加载与预处理、损失函数、优化器、距离度量、图像变换、ResNet 骨干网络、训练主流程以及评估指标等模块，结构紧凑、职责清晰。项目围绕特征提取与度量学习展开，涉及数据增强、模型训练、mAP 与查准查全等评估环节，并预留了向监控场景迁移的接口。目前已有 150 人学习，读者可借此理解 ReID 从数据到评估的完整链路，掌握损失函数与骨干网络的组合方式，并在此基础上尝试注意力机制、特征对齐等改进思路。
1. 行人重识别到底在解决什么问题：从一段监控盲区说起
同一件外套、同一个背包，在A摄像头里出现三秒，走到B摄像头下就换了角度、换了光照，甚至被货架挡掉半个身子。人眼能凭感觉认出“这是同一个人”，但传统视觉系统只会把它当成两个毫不相干的检测框。行人重识别（Person Re-Identification，简称 ReID）要干的事，就是跨摄像头、跨时间把同一个人的图像片段重新关联起来。它不依赖人脸，因为监控里人脸往往糊成一团；它靠的是整体外观特征——衣服颜色、体型、步态轮廓、随身物品。这套技术最典型的落地场景是园区安防、商场客流分析、车站寻人，以及无人零售里的轨迹还原。如果你手上有几路摄像头，想做一个“输入一张目标行人图，自动在历史录像里找出所有出现片段”的系统，那这个方向就是你要走的路。它和普通图像分类最大的区别在于：训练时模型从没见过“要查的那个人”，推理时却要判断两张图是不是同一身份，这属于开集度量学习问题，也是后面所有工程细节的根源。
2. 从零搭一套 ReID 基线：数据、模型、损失函数怎么选
2.1 数据集与标注格式：Market-1501 风格为什么成了事实标准
常见做法是先把数据组织成 Market-1501 的目录结构，因为绝大多数开源实现和预训练权重都按这个格式读取。它把图像按身份ID_摄像头ID_帧号.jpg命名，训练集和测试集的身份完全不重叠。下面这段脚本用来检查你的数据是否符合这个命名规范，并统计每个身份的样本数，样本过少的身份要提前剔除，否则训练时损失会被噪声主导。
import os import re from collections import defaultdict # 假设数据根目录下每个子文件夹是一个摄像头 root = "./data/train" pattern = re.compile(r"^(\d+)_c(\d+)_(\d+)\.jpg$") id_count = defaultdict(int) bad_files = [] for cam_dir in os.listdir(root): cam_path = os.path.join(root, cam_dir) if not os.path.isdir(cam_path): continue for fname in os.listdir(cam_path): m = pattern.match(fname) if not m: bad_files.append(os.path.join(cam_path, fname)) continue pid = int(m.group(1)) id_count[pid] += 1 # 打印样本数少于 4 的身份，这些通常建议合并或丢弃 few = {k: v for k, v in id_count.items() if v < 4} print("身份总数:", len(id_count)) print("样本不足的身份:", few) print("命名不合规文件数:", len(bad_files))逻辑说明：正则里的三个捕获组分别对应身份、摄像头、帧号，这是 Market-1501 的硬约定。参数上，v < 4这个阈值不是死的，如果总身份数很少，可以放宽到 2；如果身份数上千，建议直接砍掉少于 4 张的，否则每个 batch 里同一身份凑不齐正样本对。命名不合规的文件必须手动改或写脚本重命名，模型不会替你容错。
2.2 骨干网络与特征维度：ResNet50-IBN 为什么比原版更稳
骨干网络我一般直接上 ResNet50-IBN，它在原版 ResNet 的残差块里混入了 Instance Normalization，对光照和摄像头风格差异的鲁棒性明显更好。ReID 的痛点就是跨摄像头域偏移，IBN 相当于在特征层面做了一次风格归一化。输出层把最后的全连接分类头去掉，改成输出 2048 维的特征向量，再经过一个 BNNeck 结构——这是近年开源实现里几乎标配的设计，先 BN 再分别接分类损失和三元组损失，能缓解两个损失优化方向打架的问题。
import torch import torch.nn as nn from torchvision.models import resnet50 class ReIDBackbone(nn.Module): def __init__(self, num_classes, feat_dim=2048): super().__init__() base = resnet50(pretrained=True) # 去掉原始 fc 层，保留全局池化前的特征 self.backbone = nn.Sequential(*list(base.children())[:-1]) self.feat_dim = feat_dim # BNNeck：对特征做归一化后再分流 self.bnneck = nn.BatchNorm1d(feat_dim) self.bnneck.bias.requires_grad_(False) # 分类分支不更新 bias self.classifier = nn.Linear(feat_dim, num_classes, bias=False) def forward(self, x): feat = self.backbone(x).flatten(1) feat_bn = self.bnneck(feat) if not self.training: return feat_bn cls_score = self.classifier(feat_bn) return feat, feat_bn, cls_score逻辑说明：bias.requires_grad_(False)是 BNNeck 的细节，目的是让分类分支的决策边界不受偏置影响，推理时只用 BN 后的特征算距离。参数上feat_dim保持 2048，如果你显存吃紧可以降到 1024，但实测掉点大概 1 到 2 个 mAP。训练时返回三个值，推理时只返回归一化特征，这个分支切换靠self.training控制，别写错。
2.3 损失函数组合：ID Loss 加 Triplet Loss 的权重怎么调
单独用分类损失，模型学到的特征类内紧凑但类间可能重叠；单独用三元组损失，训练不稳定且收敛慢。常见做法是两者加权相加，分类损失权重 1.0，三元组损失权重从 0.3 起步。三元组采样用 Batch Hard 策略，每个 batch 里选 P 个身份、每个身份 K 张图，P 取 16、K 取 4 是 8GB 显存下的稳妥配置。
from torchreid.losses import TripletLoss # 假设使用某开源库的损失实现 criterion_id = nn.CrossEntropyLoss() criterion_tri = TripletLoss(margin=0.3) # 训练循环片段 for imgs, pids, _ in dataloader: feat, feat_bn, cls_score = model(imgs) loss_id = criterion_id(cls_score, pids) loss_tri = criterion_tri(feat_bn, pids) loss = loss_id + 0.3 * loss_tri loss.backward() optimizer.step()逻辑说明：margin=0.3控制正负样本对的距离差，太大导致难样本梯度爆炸，太小则学不到判别力。权重 0.3 是经验值，如果你发现训练前期 loss 震荡厉害，先降到 0.1，等分类损失稳定后再升回来。注意三元组损失作用在feat_bn上而不是原始feat，这是 BNNeck 论文里的做法，能提升约 1 个 mAP。
3. 训练与推理全流程：从配置文件到跨摄像头检索
3.1 数据增强与采样器：Random Erasing 和身份均衡采样
ReID 训练里两个容易被忽视但影响很大的点：一是 Random Erasing，随机遮挡图像一块矩形区域，强迫模型不依赖局部特征，对遮挡场景泛化提升明显；二是身份均衡采样，每个 batch 必须保证每个身份至少两张图，否则三元组损失没有正样本对可用。下面是一个自定义 Sampler 的核心逻辑。
import random from torch.utils.data import Sampler class IdentitySampler(Sampler): def __init__(self, data_source, batch_size=64, num_instances=4): self.pids = [d[1] for d in data_source] # 假设 dataset 返回 (img, pid, camid) self.batch_size = batch_size self.num_instances = num_instances self.index_dict = {} for idx, pid in enumerate(self.pids): self.index_dict.setdefault(pid, []).append(idx) def __iter__(self): pids = list(self.index_dict.keys()) random.shuffle(pids) batch = [] for pid in pids: idxs = self.index_dict[pid] if len(idxs) < self.num_instances: continue selected = random.sample(idxs, self.num_instances) batch.extend(selected) if len(batch) >= self.batch_size: yield batch[:self.batch_size] batch = [] def __len__(self): return len(self.pids) // self.batch_size逻辑说明：num_instances=4对应每个身份取 4 张，batch_size=64意味着一个 batch 覆盖 16 个身份。如果某个身份样本不足 4 张，直接跳过而不是重复采样，重复采样会让模型过拟合那几张图。Random Erasing 建议加在transforms里，概率设 0.5，遮挡面积比例 0.02 到 0.4 之间。
3.2 学习率策略与 warmup：前 10 个 epoch 为什么不能省
ReID 训练常见的翻车是前几个 epoch 损失直接飙到 NaN，原因是预训练权重和随机初始化的分类头差异太大，大学习率一上来就把特征空间打乱了。我一般用 Warmup 加 Cosine Annealing，前 10 个 epoch 学习率从 3.5e-5 线性升到 3.5e-4，之后余弦衰减到 3.5e-6。优化器用 Adam，权重衰减 5e-4。
from torch.optim.lr_scheduler import LambdaLR import math def warmup_cosine(optimizer, warmup_epochs=10, total_epochs=120, base_lr=3.5e-4): def lr_lambda(epoch): if epoch < warmup_epochs: return (epoch + 1) / warmup_epochs progress = (epoch - warmup_epochs) / (total_epochs - warmup_epochs) return 0.5 * (1 + math.cos(math.pi * progress)) return LambdaLR(optimizer, lr_lambda) # 使用示例 optimizer = torch.optim.Adam(model.parameters(), lr=3.5e-4, weight_decay=5e-4) scheduler = warmup_cosine(optimizer)逻辑说明：base_lr=3.5e-4是 Adam 下的常用值，如果你换 SGD，要调到 0.01 到 0.05 量级。Warmup 的 epoch 数不是越多越好，超过 15 个 epoch 会浪费训练时间，10 个是多数数据集上的平衡点。Cosine 衰减比 Step 衰减更平滑，最终 mAP 通常高 0.5 到 1 个点。
3.3 推理阶段的距离度量：余弦距离还是欧氏距离
推理时把 gallery 和 query 图像都过一遍模型，取 BNNeck 后的 2048 维特征，做 L2 归一化，然后算余弦距离。注意：如果训练时三元组损失用的是欧氏距离，推理也建议用欧氏距离，两者保持一致。实际代码里余弦距离更常用，因为归一化后它和欧氏距离单调等价，但数值更稳定。
import torch.nn.functional as F def extract_features(model, dataloader): model.eval() feats, pids, camids = [], [], [] with torch.no_grad(): for imgs, pid, camid in dataloader: feat = model(imgs.cuda()) feat = F.normalize(feat, p=2, dim=1) # L2 归一化 feats.append(feat.cpu()) pids.extend(pid) camids.extend(camid) return torch.cat(feats), pids, camids # 计算 query 和 gallery 的余弦相似度矩阵 q_feats, q_pids, q_cams = extract_features(model, query_loader) g_feats, g_pids, g_cams = extract_features(model, gallery_loader) sim_matrix = q_feats @ g_feats.t() # 归一化后点积即余弦相似度逻辑说明：F.normalize的p=2是 L2 归一化，归一化后点积直接等于余弦相似度，省去除法。注意 gallery 里要排除和 query 同摄像头同帧的图，否则算出来的精度是虚高的，这是评估协议里的硬规则，自己写评估脚本时容易漏。
4. 避坑与排查：那些让 mAP 掉 10 个点的细节
4.1 现象：训练 loss 正常下降但 mAP 始终在 40 以下
原因通常是评估时没有做摄像头排除，或者 query 和 gallery 的特征提取用了不同的预处理。解决：检查评估脚本里是否过滤了camid相同的样本，并确认推理时的transforms和训练时验证集用的完全一致，尤其是归一化的均值和方差。
4.2 现象：换一个数据集测试，精度直接崩盘
原因是模型过拟合了源域的摄像头风格。解决：在训练时加入 Random Grayscale 和 Color Jitter，概率各 0.2，模拟不同摄像头色彩偏差；如果目标域有少量标注，做 5 到 10 个 epoch 的微调，学习率降到 1e-5。
4.3 现象：batch 里某些身份只有一张图，三元组损失报错
原因是采样器没有保证每个身份至少num_instances张。解决：在 Dataset 的__init__里就过滤掉样本数不足的身份，而不是在 Sampler 里跳过，否则__len__和实际产出对不上，训练 epoch 数会乱。
4.4 现象：推理速度慢，单张图要 200ms 以上
原因是骨干网络没做推理优化。解决：用torch.jit.trace导出模型，或者换 MobileNetV3 骨干，精度掉 3 到 5 个 mAP 但速度提升 3 倍。如果必须用 ResNet50，把输入尺寸从 384x128 降到 256x128，速度提升约 40%。
4.5 现象：同一张图两次推理结果不一致
原因是模型没有切到eval()模式，BN 层还在用 batch 统计量。解决：推理前务必调model.eval()，并用torch.no_grad()包住前向，否则显存占用也会翻倍。
5. 进阶技巧：用重排序和半监督把 mAP 再推 5 个点
当你把基线跑到 80 左右 mAP 后，继续调网络结构收益递减，这时候该上后处理。最划算的是 k-reciprocal 重排序，它不训练、不调参，纯靠特征距离矩阵的拓扑关系重新排序，通常能涨 3 到 5 个 mAP。核心思想是：如果图 A 的 k 近邻里包含图 B，且图 B 的 k 近邻里也包含图 A，那它们互为 reciprocal 邻居，相似度应该被增强。
import numpy as np def k_reciprocal_re_ranking(q_feats, g_feats, k1=20, k2=6, lambda_value=0.3): # 计算原始距离矩阵 dist = 1 - q_feats @ g_feats.t() # 对每个 query 取前 k1 个最近邻，构建 reciprocal 集合 # 此处省略完整实现，核心是 Jaccard 距离计算 # 最终距离 = lambda * 原始距离 + (1 - lambda) * Jaccard 距离 final_dist = lambda_value * dist + (1 - lambda_value) * jaccard_dist return final_dist逻辑说明：k1=20是初始近邻数，k2=6是二次近邻数，lambda_value=0.3控制原始距离和 Jaccard 距离的融合比例。这三个参数在 Market-1501 上比较稳，换数据集时lambda_value可以在 0.2 到 0.5 之间网格搜一下。重排序的代价是计算量，gallery 上万张时距离矩阵会很大，建议分块计算。
另一个进阶方向是半监督域自适应，如果你目标场景没有标注，可以用源域模型给目标域打伪标签，置信度高的样本加入训练，迭代两三轮。我一般会先跑一轮聚类，把轮廓系数低于阈值的簇整个丢掉，宁可少用数据也不引入噪声。伪标签的置信度阈值从 0.8 起步，每轮降 0.05，降到 0.6 就停，再低就全是错标了。
最后说个血泪经验：ReID 这行，数据清洗花的时间永远比调模型多。我见过太多人拿着命名混乱、身份重叠的数据集硬训，loss 曲线漂亮得不行，一上真实摄像头全崩。先把数据集的摄像头分布、身份样本数、图像分辨率这三张表拉出来看一遍，比换任何骨干网络都管用。希望帮到你。
本文还有配套的精品资源，点击获取
