行人重识别（Person Re-Identification，ReID）这几年在计算机视觉里热度一直不低。不管是安防场景下的跨摄像头人员轨迹还原，还是零售场景里判断一个顾客是否再次到店，核心问题都是一样的：让模型在底库图像中检索出同一个人的其他抓拍。这个任务最大的难点在于视角、姿态、光照和遮挡带来的剧烈外观差异，而《Omnidirectional Feature Learning for Person Re-Identification》这篇论文，恰好就是在“局部特征怎么组织”这个关键问题上做出了一次我很欣赏的尝试——把特征学习从水平切分扩展到了全方位方向。
这篇笔记适合三类人看：刚接触ReID、想系统理解局部特征流派的研究生；准备复现论文、需要一份避坑清单的工程师；以及所有对“特征图切分”这个经典操作有疑惑、想知道“为什么要全方位切分”的同学。我会从问题动机、网络结构、训练细节、复现过程中容易踩的坑这几个角度展开，把论文里写得比较简略的地方掰开揉碎了讲清楚。
1. 行人重识别为什么需要“全方位”特征
1.1 一个常被忽略的事实：行人不只是“竖直的”
先回到ReID任务本身。给定一张查询图（query），要在庞大的图库（gallery）中找到同一个人的其他图片，模型能依赖的只有视觉外观——衣服颜色、体型、背包、发型这些信息。这里存在一个天然矛盾：同一个行人在摄像头A里是正面，到了摄像头B就变成侧面甚至背面；上午是顺光，下午是逆光。模型必须在这些剧烈变化中抓住“这个人区别于其他人”的稳定线索。
很长一段时间里，一个主流流派是基于水平切分的局部特征学习。思路很直观：行人基本是一个长条形目标，把特征图从上到下切成若干条stripes，每条对应头、躯干、腿等身体区域，然后分别做池化和分类。PCB这类方法把这条路走到了很成熟的程度，RPP又在语义对齐上做了改进。它们都是有效的，但也隐含了一个前提假设：行人的判别性信息一定沿水平方向分布。
这个假设在很多实际场景里并不成立。举个例子，一个人斜挎着背包，背带从右肩斜跨到左腰，这是一条非常强判别性的外观线索，方向是对角线的。又比如密集人群中，水平切分很容易把两个行人的头肩区域切进同一条stripe，局部特征的语义就会变得混乱。我自己在项目里的体会是，在人群密度高的监控画面里，纯水平切分经常把背景行人的上半身当成前景特征学进去，导致检索结果里出现大量“穿着相似但根本不是目标”的干扰项。
1.2 这篇论文的核心洞察：让特征切分不再局限于水平方向
《Omnidirectional Feature Learning for Person Re-Identification》的出发点，就是打破“只做水平切分”这个隐含约束。作者抓住了一个关键：判别性外观线索可能出现在任何方向。与其赌它在水平方向，不如把水平、垂直、对角线这些方向全部作为候选，让网络自己决定哪个方向上的哪些区域有用、怎么用。
打个比方，这就好比你让一个学生描述一个人的特征。水平方向像是让他从上到下观察——身高、腿长；垂直方向像是让他从左到右观察——左肩的包、右手的手环；对角线方向像是让他斜着观察——斜挎的背带、侧前方的反光条。每一种观察角度都是一种归纳偏置，让模型更关注特定方向上的结构化信息。把这些方向的观察结果综合起来，对行人的描述显然比单一方向更完整。
这也正是论文标题里“Omnidirectional”的含义：不是某一个方向，而是所有方向。它并不是要否定水平切分的价值，而是把水平切分降级为多个方向候选中的一个，让模型根据数据自己去权衡。
1.3 全方位特征具体改善了什么
从实际效果来看，全方位特征学习主要改善了三类问题：
- 大角度视角变化。查询图是正面、候选图是背面时，水平特征对齐的往往是躯干区域，而背包、帽子这类显著外观标志可能出现在图像边缘，垂直或对角方向的切分更容易捕获它们。
- 复杂背景干扰。水平切分把背景行人混进同一条stripe时，其他方向的切分还能提供一份相对“干净”的特征。
- 姿态形变。步态变化、挥手、弯腰会导致身体部位错位，多方向特征集合在一起，容错能力比单一方向强得多。
要理解全方位特征的价值，关键是要认识到：ReID里不存在一个放之四海而皆准的特征组织方式，多方向组合是在为“模型不知道该看哪”提供一个更稳妥的兜底方案。
2. 网络结构拆解：全局分支与多方向分支如何协作
2.1 整体架构：一个骨干，两条通路
论文的整体设计思路清晰，属于那种结构并不复杂、落地细节却很讲究的类型。骨干网络使用了实践中非常成熟的ResNet结构，去掉最后的全局平均池化和分类层，取到conv5层的特征图作为后续所有分支的输入。
在骨干之后，网络分成两条通路：
- 全局分支：对整张特征图做全局平均池化，得到一个相对高维的全局特征。它的角色是兜底——无论哪个方向的局部特征失效，全局特征总能保留“这个人整体长什么样”的粗粒度信息。
- 全方位分支：将特征图按多个方向划分为条纹，每个方向内部再细分为若干条stripe，每条stripe独立池化、独立分类，最终汇总成方向特征集合。
两条通路是并行的，而不是串联的。我的理解是，串联会导致前面切分方式的错误被逐级放大到后续特征里，而并行保证了全局特征和方向特征在语义上是互补的、在数学上是同步优化的。
2.2 多方向条纹划分的具体实现逻辑
论文提出了一套统一的条纹划分协议。假设输入特征图尺寸为H×W×C，要把它划分成S条条纹：
- 水平方向：沿高度维度均匀切分，每条stripe的尺寸是(H/S)×W。
- 垂直方向：沿宽度维度均匀切分，每条stripe的尺寸是H×(W/S)。
- 对角线方向：沿斜向做等宽切分，每个条纹的几何形状是平行四边形或菱形区域。
这里有一个容易让人疑惑的地方：对角线条纹的实现。实际操作中并不会直接对特征图做旋转，而是通过坐标映射把斜向区域采样成矩形条纹。这样做的最大好处是计算上完全兼容BatchNorm和池化操作，不需要额外引入任何几何变换层，工程实现非常干净。
如果你是第一次复现这类思路，我建议先从水平和垂直两个方向开始，跑通之后再加入对角线方向。多方向切分一旦坐标映射出错，模型不是不收敛，而是精度不升反降，这种问题排查起来极耗时间。
2.3 方向感知注意力模块：让模型学会“挑着看”
如果仅仅做多方向切分再拼接，说实话这只是一个堆算力的工程做法，谈不上“特征学习”。这篇论文真正有创新性的地方在于：每个方向的条纹特征在送入分类器之前，都要经过一个方向感知注意力模块。
这个模块做的事可以这样理解：对同一个方向内部的不同条纹，学习一组权重，告诉模型哪些条纹对身份判别更重要。比如垂直切分下，单肩包在左肩、反光条在右侧，模型会自动给左侧条纹更高的权重；水平切分下，躯干条纹的权重通常要高于腿部——因为腿部区域的鞋子通常是黑色的，而躯干花色才是区分身份的关键。
模块内部的实现是轻量级的轻量级：对每条条纹特征先做全局平均池化，得到一个小描述向量，经过一个带ReLU的单隐层全连接压缩，再通过Sigmoid输出归一化的权重，最后和原始条纹特征逐通道相乘。整个过程不改变特征维度，计算开销非常小，完全不影响训练速度。
我自己的复现体会是，注意力模块的存在影响比看起来大得多。去掉它直接拼接，网络会把不同方向的噪声条纹一视同仁地学进分类器里，反而破坏了特征的判别性。加上它之后，相当于每个方向都配备了一个条纹选择器，让模型学会了忽略不稳定区域，这比单纯增加分支数量更值钱。
2.4 分支间信息汇聚：独立分类与拼接推理
方向特征经过注意力加权之后，有两种汇聚方式：
- 独立分类：每个方向、每条条纹都预测一个身份ID，用交叉熵损失监督。
- 特征拼接：把全局特征和所有方向分支的加权特征拼接成一个长向量，作为最终用于度量学习的推理特征。
论文的做法是两者结合：训练阶段每个条纹独立分类，推理阶段用拼接特征做距离度量。设计逻辑很合理——独立分类强迫每条stripe都成为一个“专家”，学到身份级别的判别信息，而不是把难度都推给拼接后的分类器；推理时的拼接则把多个专家的意见综合起来，稳健性显著高于任何单一方向。
这里有一个容易踩的坑：拼接特征的维度膨胀。假设4个方向、每个方向4条stripe、每条stripe是2048维，那拼接之后就是16×2048维，直接算余弦距离，计算量会急剧增加。实践中的合理做法是，推理前对拼接向量做一次降维，通常降到1024维或512维，既保留多方向信息，又控制检索成本。
3. 让分支之间“差异最大化”：多样性正则化设计与调参
3.1 多方向分支最大的隐患：特征塌缩
多方向分支最容易出现的问题是“塌缩”——不同方向学到的特征高度相似，最终退化成全局特征的一个副本。原因很直观：同一个骨干网络出来的特征图，不同的切分方式只是改变了池化区域，但如果没有任何约束，梯度下降会把所有方向往同一个“最优解”方向推，多个分支名存实亡。
我第一次复现时就没加任何多样性约束，训练到后期用可视化工具查看方向分支的特征分布，发现水平和垂直分支的分布几乎完全重合。这说明模型找到了一个偷懒解：所有方向都在描述整张图，而不是各自描述一个方向。这种结果下，多方向结构成了一个多余的装饰品。
3.2 多样性正则化的设计思路与实现细节
论文的思路简单而有效：让不同方向分支的特征在统计意义上去相关。具体做法是，计算各方向特征之间的相似度矩阵，然后对这个矩阵的非对角线元素施加惩罚，强制它们趋向于零。
形式上，假设有K个方向分支，每个分支得到聚合后的特征向量fk，其中最常用的是余弦相似度：Sij = (fi·fj) / (‖fi‖·‖fj‖)。多样性损失取上三角非对角线元素的平均绝对值：
L_div = (2 / (K(K-1))) · Σ_{i<j} |Sij|
总损失就是身份损失加上加权后的多样性损失：
L = L_id + λ · L_div
这里有一个实现上的坑值得注意：如果直接用整个batch内随机配对计算相似度，正负样本比例不平衡会导致正则项波动剧烈。稳妥的做法是，在每个mini-batch内部按身份ID分组，只对同一个人的多个方向特征计算去相关约束。也就是说，同一个人的多方向特征应该互补，不同人的特征之间没有必要强行去相关。
3.3 权重λ怎么调
论文没有给出一个细致的λ调参指南，以我的复现经验来看，λ在0.01到0.1之间比较稳。太小了起不到分离作用，太大则会压制身份损失的收敛，出现“方向之间已经分开，但每个方向都不具备判别性”的尴尬局面。
有一个很实用的诊断方法：训练中期观察三个指标——训练集上的分类准确率、验证集上的Rank-1命中率、以及方向分支特征之间的平均余弦相似度。如果Rank-1稳步上升且相似度在0附近小幅震荡，说明λ基本正常；如果Rank-1停滞不动而相似度一路狂降到负值，那大概率是λ太大了，赶紧调小一个数量级。
4. 训练配置与推理细节：这些数字是真的能影响结果
4.1 数据增强与输入尺寸
论文在数据增强上没有刻意做太多“花活”，用的是ReID领域里一套成熟的组合：随机水平翻转、带padding的随机裁剪、随机擦除。输入尺寸上，384×128是ReID任务的经典选择，保留足够空间细节的同时，还不会让batch size被显存卡脖子。
容易被忽视的增强是随机擦除的比例设置。ReID场景中的遮挡很常见——行人被护栏挡住半边、被另一行人遮住躯干都是家常便饭，随机擦除本质上就是一种廉价的遮挡模拟。论文沿用这个策略是合理的。不过在我自己复现的时候，会把擦除概率从默认的0.5调低到0.3——因为多方向切分本身对遮挡已经有一定鲁棒性，增强过猛反而拖慢收敛速度，尤其是训练初期，擦除面积太大容易把关键条纹直接擦没了。
4.2 损失函数组合：身份交叉熵为主，三元组为辅
论文在损失设计上没有引入复杂的度量学习方案，而是沿用PCB、AlignedReID这一脉的标准搭配：身份交叉熵配合三元组损失。
具体到实现层面，每个方向分支的每条stripe都有一个独立的交叉熵分类器，全局分支也有一个分类器。三元组损失作用于全局特征上，采用hard mining策略采样——每个batch内选P个身份、每个身份取K张图，构造P×K的mini-batch。这种采样方式在ReID实践中被验证非常稳，我个人的习惯是P=8、K=4，在显存和精度之间比较平衡。
关于三元组损失的margin，ReID领域常见的是0.3到0.5。我建议设成0.3，因为多方向特征本身拉大了类间距离，margin如果太大，困难样本对很难被拉开，后期损失值会一直居高不下，而且表现为训练集精度已经很高、验证集精度却卡住不动。
4.3 推理阶段的特征处理
推理阶段，论文的做法是把全局分支特征和所有方向分支的加权特征拼接起来，再做一次L2归一化，最终用余弦距离作为相似度度量。这相当于在多个特征空间里同时比对两张图：全局相似度、水平局部相似度、垂直局部相似度、对角局部相似度，最后综合成一个标量。
一个很实用的技巧是，检索阶段不一定要等权拼接。如果你的场景里有少量标注数据可以用来验证，可以按方向对最终Rank-1的影响做一个简单的加权平均。我曾经在某一个数据分布偏斜的场景里，把水平方向权重设为1.2、垂直方向0.9、对角线0.9、全局1.0，确实把mAP拉高了两个点左右。但请注意，这个权重极度依赖数据集本身的分布，绝不能盲抄，一定要自己试。
5. 复现路线与三个真心踩过的坑
5.1 分步复现的路径设计
如果你打算自己复现这篇论文，我强烈建议按下面的顺序推进，每走一步都有可验证的中间结果：
- 搭建骨架：用任意一个ReID开源框架，加载预训练ResNet，去掉GAP层，抽出conv5特征图。
- 接入全局分支：先跑通一个纯全局特征的ReID baseline，确认环境没问题、指标合理。
- 加入水平切分分支：验证切分逻辑是否正确——一个很有效的验证方法是把每个stripe的平均激活值可视化出来，确认它们确实对应了身体的头、躯干、腿。
- 加入垂直和对角线分支，再接入注意力模块，最后加上多样性正则项。
这样每一步如果出了问题，你都能很快定位是哪一部分造成的。最忌讳的就是一步把方向切分、注意力、正则项全加进去，一旦效果不如预期，你完全不知道要调整哪一个环节。
5.2 复现中遇到的三个实际问题
第一个问题是特征图坐标对齐。做对角线切分时，坐标映射算错会导致某些stripe采样到特征图边界之外的空白区域，BatchNorm的统计量会剧烈震荡，训练曲线会像锯齿一样来回跳动。解决办法很朴素：写一个单元测试，用全零特征图做切分，确认每个stripe的非零像素数量符合预期。这个测试花不到五分钟，但能省掉一晚上的排查时间。
第二个是BatchNorm的统计稳定性。多分支结构下，每个分支的BatchNorm层是独立统计的，如果batch size小于16，分支内部的均值和方差估计就会不稳定，特征分布漂移很厉害。我最后的处理是把BN的eps从默认的1e-5改成1e-3，并在训练前期冻结BN的running stats，等分类损失稳定之后再解冻。
第三个问题藏在测试阶段的条纹对齐逻辑里。训练时是“先切分再池化”，测试时如果不小心走了“先池化再切分”的代码路径，结果完全不一样。这个错误在代码层面非常隐蔽——它不影响模型跑通，只影响精度，而且精度下降幅度可能只有1个点左右，很容易被误判为超参设置问题。我的建议是在测试代码里也写一个断言，确保推理路径和训练路径的特征操作顺序完全一致。
5.3 参数敏感性观察
从我的实验记录看，这个模型对“方向数量”这个超参最敏感。方向太少，比如只有水平和垂直，提升幅度有限；方向太多，比如8个方向，特征维度急剧膨胀，训练显存吃紧，性能也不再增长。4个方向——水平、垂直、两条对角线，是一个性价比很高的默认配置。
训练收敛节奏上，多方向分支会让前期的loss下降变慢，因为相当于有多个分类器在同时收敛。这个阶段不要着急，通常到了训练中期，方向特征开始出现差异化之后，验证精度会有一个快速爬升期。随后按常规策略在总训练进程的2/3处做一次学习率衰减，调到十分之一即可。
6. 论文之外的思考：全方位特征还能用在哪里
6.1 向其他任务的迁移潜力
全方位特征学习的价值其实不局限于行人重识别。在我的经验里，至少有三个方向值得实践迁移：
- 车辆重识别：车辆同样是接近刚性的目标，但判别性装饰物比如贴纸、保险杠破损可能出现在任何位置，多方向切分天然适配这类需求。
- 跨域行人检测：检测模型对方向敏感性同样存在，把多方向注意力引入检测头的特征聚合，有可能改善密集场景下的漏检问题。
- 细粒度图像分类：这类任务的关键就是找到局部判别区域，而判别区域的方向分布往往没有先验假设，多方向切分可以作为一种更充分的区域提议替代方案。
6.2 和后续工作的关系
这篇论文提出的方向切分思想，后来被不少工作以不同形式吸收。比如有的工作把方向切分和Transformer的注意力机制结合起来，让网络自适应地决定每个token应该关注哪个方向的区域；有的工作把方向分支的多样性正则项替换成对比学习目标，在无监督ReID里取得了不错的结果。
读这篇论文，我最大的收获不是“多方向切分可以涨点”这个结论本身，而是它展示了一种思维方法：当模型的归纳偏置和真实数据分布不匹配时，与其一味更换更大的骨干网络，不如重新审视“特征应该被怎样组织”这个更根本的问题。多方向切分只是其中一个答案，但它启发了一种可能性——特征组织的维度本身也可以是可学习的。
6.3 一点个人的总结
我在实际项目里真正使用这个思路时发现，和纯水平切分的baseline相比，全方位特征确实更稳定。但我也要诚实地提醒一句：它不是一个“装上就能涨点”的万能插件。数据增强策略、超参设置、分支数量都需要针对你的具体数据进行调优。如果你的场景视角相对固定、行人方向变化很小，多方向带来的增益可能很有限，反而增加了训练成本。先想清楚你的数据里的外观线索到底沿什么方向分布，再决定要不要上全方位特征，这比盲目堆模块重要得多。
