做目标检测的人，十有八九会在某个项目里被小目标卡住。我印象很深的一次是在一个监控场景里，人从远处走过，在画面中只有十几个像素，模型从头到尾没有框出来一次。换上更深的主干网络、加了各种训练技巧，AP还是上不去。后来真正起作用的是把FPN加进去——不是模型不够强，而是小目标的特征在层层卷积之后早就被冲淡了。
小目标检测是圈内公认的难点，而FPN（Feature Pyramid Network，特征金字塔网络）几乎是解决这个问题最经典、也是性价比最高的思路之一。它不改变你的检测头，不依赖某个特定的骨干网络，而是在特征提取阶段重新组织多尺度信息，让网络既看得到全局，又看得清局部。这篇文章适合正在做检测、被小目标搞到头疼的人，也适合刚接触FPN、想搞清楚它到底在干什么的人。我会从原理讲到工程落地，把踩过的坑一并写出来。
1. 小目标检测为什么这么难——问题拆解
1.1 小目标到底“小”在哪
按通行评测标准，小于32×32像素的目标一般被归为小目标。但实际项目里，别说32像素，很多目标只有8到10个像素，在整幅图中就是一个点。目标小，意味着像素信息极少，缺少纹理、缺少轮廓、缺少可以依赖的上下文。网络看一眼，根本不知道该拿什么特征去判断它。
我习惯用一个生活类比来解释这件事：你拿一张全景照片，很容易看到人和背景，但要你在里面找出远处一个人的脸，你得把照片放大很多倍才行。神经网络也是同样的逻辑——它需要“看清”目标的空间细节，而这些细节大多存在于浅层特征中，深层特征已经被压缩得只剩抽象语义了。对小目标来说，这种信息衰减是致命的。
还有一个容易被忽略的点：小目标的绝对尺寸小，但相对尺寸在不同数据集里差别很大。有的图分辨率高，目标在像素上看起来小，但信息还算完整；有的图本身分辨率低，目标连轮廓都是糊的。这两种情况要用不同的策略，不能一股脑套同一个配置。
1.2 小目标检测失败的三个根源
第一个根源是下采样导致的信息丢失。一张高清图输入网络，骨干网络最后输出的特征图通常只有原图的1/32。一个32×32的小目标走到最后，只剩下1×1像素。这时候别说识别类别，连“这里到底有没有目标”都很难判断。深层特征图的分辨率决定了它的上限，而小目标恰恰需要高分辨率来保留空间细节。
第二个根源是正样本数量太少。检测模型要靠锚框与真实框匹配来产生正样本，大目标区域面积大，锚框稍微偏一点也能有不错的IoU，容易命中。小目标完全相反，锚框和真实框相差几个像素，IoU就掉到匹配阈值以下。能参与训练的正样本天然稀少，模型对小目标长什么样几乎没有学习机会。
第三个根源是与背景的区分度低。目标小、像素少，和周围背景的差异就不明显，尤其在低分辨率下，很多小目标看上去就是一团噪点。模型既容易把背景误判成目标，也容易把目标直接漏掉。误检和漏检往往同时存在，这让调参变得很棘手。
| 难点 | 本质原因 | 典型后果 |
|---|---|---|
| 信息丢失 | 深层特征图分辨率太低 | 小目标退化为1~2个像素，分类困难 |
| 样本不足 | 小目标能匹配的锚框少 | 训练不充分，召回率低 |
| 区分度低 | 像素少、与背景混淆 | 误检和漏检同时出现 |
2. FPN的核心思想——从“最后一层”到“多层联合”
2.1 为什么只用最后一层特征有缺陷
早期检测模型，无论两阶段还是单阶段，基本都在主干网络最后一层特征图上做预测。最后一层语义最强，分类能力最好，但分辨率最低，空间细节最少。对小目标来说，这个缺陷直接决定了模型的性能上限。
有人会说，既然深层特征不行，那直接用浅层特征不就行了？浅层特征分辨率高、细节丰富，但语义弱——它知道这里有边缘和颜色，却不知道这堆边缘和颜色组合起来是一架飞机。单独拿浅层特征做分类，效果同样糟糕。问题的本质是：深层丢了空间细节，浅层缺了语义理解，单靠任何一层都不够用。
值得注意的是，多尺度特征不是FPN首创。在FPN之前就有一些方法把不同层特征拉出来分别预测，但各层之间没有信息交互。浅层不知道高层看到了什么，高层也不了解浅层的细节在哪，每个尺度都在“盲人摸象”。FPN的关键在于把各层特征用自顶向下的路径串起来，让每一层同时拥有细节和语义。
2.2 FPN的三条通路到底在做什么
FPN的结构可以拆成三块，每一块都有自己的职责：
自底向上通路：就是主干网络的前向过程。输入图像经过卷积和下采样，逐步产生不同分辨率的特征层，通常取最后几个阶段的输出，记为C2、C3、C4、C5。越往上分辨率越低，语义越强。
自顶向下通路：从最顶层C5开始，对高层特征做2倍上采样，逐步向低层传递。上采样让高层特征的尺寸与下一层对齐，这样语义信息就能“流”到浅层去，给浅层补上分类判断力。
横向连接：每一层自底向上的特征，与来自上层的上采样特征做融合。通常先用1×1卷积统一通道数，再逐元素相加。横向连接的作用有两个：一是让不同层的特征通道维度一致，二是把浅层独有的空间细节保留下来。
融合之后，每一层都输出一个新的特征图，记为P2、P3、P4、P5，分别覆盖不同尺度。每个尺度都接独立的检测头做预测，最后把多层结果汇总。这就是FPN能同时兼顾大小目标的原因——不同尺度的目标，总有一层特征和它匹配。
2.3 一个生活化的理解方式
把FPN想象成一个项目团队：高层是决策层，掌握宏观信息但粒度粗；基层是一线执行，掌握大量细节但缺乏全局判断。项目推进时，决策层把战略目标逐层向下传达，这是自顶向下；执行层又把一线情况逐层向上反馈，这是横向连接。每个层级既知道大方向，又掌握具体细节，配合起来才能做好事情。
放到检测任务里也一样。P5这种深层特征负责找大目标，它懂“飞机长什么样”，但分辨率太低看不清远处的小飞机；P2这种浅层特征分辨率高，却不太懂“什么样的像素组合是飞机”。FPN把两者一融合，P2既保留了细节，又拿到了语义判断力，小目标自然更容易被找到。
3. FPN结构逐层拆解——每个部件都有它的理由
3.1 自底向上通路：主干网络的天然分层
FPN不改变主干网络的结构，只借用它中间的几层特征。以常见的ResNet为例，输入图像经过一个stem和四个stage，通常取stage2到stage5的输出作为C2到C5。它们相对原始输入的下采样倍数分别是4、8、16、32倍。也就是说，一个32×32的小目标在C2里还有8×8像素，到C5就只剩1×1了——这也是为什么小目标场景一定要重视浅层特征。
为什么取四层而不是三层或五层？取太少，尺度覆盖不够，小目标拿不到足够高的分辨率特征；取太多，计算量明显增加，而且最浅层特征包含大量无关的纹理细节，噪声也大。我在多数项目里都是用C2到C5这四层，整体上是均衡方案。如果场景中目标普遍极小，可以试探把C1也纳入进来，但要准备好接受训练和推理速度下降的代价。
这里有个容易踩的坑：主干网络是否训练充分，直接影响FPN的效果。如果主干是随机初始化，浅层特征质量很差，即使做了FPN融合，得到的还是噪声叠加噪声。要么加载大规模数据集上的预训练权重，要么在数据集足够大时从头训练并配好warmup，否则FPN再精巧也发挥不出来。
3.2 自顶向下通路与横向连接：语义和细节的握手
自顶向下是从最高层往下走的过程。每一步先对当前特征做2倍上采样，再与下一层自底向上的特征相加。上采样的方式通常选最近邻插值，而不是转置卷积或双线性插值。原因很实际：最近邻不引入额外参数，不会把上采样变成一次需要学习的操作，稳定性和速度都更好；转置卷积在这个位置几乎给不出性能收益，反而增加过拟合风险。双线性插值虽然能带来更平滑的结果，但特征融合场景下收益不大，没必要为它增加计算量。
横向连接的1×1卷积也值得细说。C5输出的通道数和C4、C3都不一致，不先把通道数统一，就无法直接相加。1×1卷积只改变通道数，不改变分辨率，是成本最小的对齐方式。同时，1×1卷积还能对特征做一次压缩提炼，滤掉部分冗余信息，让后续融合更干净。
融合时用的是逐元素相加，而不是通道拼接。相加更节省显存和参数，也能自然地把语义和细节叠加在一起。部分实现会在融合之后追加一个3×3卷积，目的是进一步融合信息并抑制上采样产生的重叠伪影，这个小改动对最终精度有稳定的正向收益，建议保留。
3.3 输出层与检测头的配合
FPN的最终输出是P2到P5。P2分辨率最高、感受野最小，适合检测小目标；P3、P4适合中等目标；P5分辨率最低、感受野最大，适合大目标。检测头在每个特征层上独立滑动，各层之间是否共享权重都可以，但实践中不共享的居多，因为不同尺度特征分布差异太大，共享反而约束了各层表达力。
很多检测框架还会在P5之上再接几层卷积生成P6、P7，覆盖超大目标。但对以小目标为主的场景，优先级恰好反过来——要保证P2存在，甚至考虑加入更高分辨率的P1。这个取舍要结合算力来定，因为P1对应原图1/2分辨率的特征图，体积大，训练和推理都会明显变慢。如果你的目标普遍在10像素左右，P2是必须保留的底线。
3.4 参数和实现细节备忘
大多数FPN实现把输出通道统一为256。这个值是实践验证过的甜点参数：通道太少，信息容量不足；通道太多，计算量上升，性能提升却有限。各类主干网络经过横向连接后都统一到256通道，检测头的输入也随之统一，实现上非常干净。
下面是FPN核心结构的伪代码，这样看数据流向最直观：
# 以PyTorch风格展示FPN数据流 import torch.nn.functional as F # 假设c2, c3, c4, c5分别是主干网络四个阶段的输出 # 各自通道为 [256, 512, 1024, 2048]，统一输出通道为256 out_channels = 256 lateral_2 = Conv1x1(256, out_channels) # 横向连接：对齐通道 lateral_3 = Conv1x1(512, out_channels) lateral_4 = Conv1x1(1024, out_channels) lateral_5 = Conv1x1(2048, out_channels) smooth_2 = Conv3x3(out_channels, out_channels) # 融合后的平滑卷积 smooth_3 = Conv3x3(out_channels, out_channels) smooth_4 = Conv3x3(out_channels, out_channels) smooth_5 = Conv3x3(out_channels, out_channels) def fpn_forward(c2, c3, c4, c5): # 自顶向下路径，从最顶层开始 p5 = lateral_5(c5) p4 = lateral_4(c4) + F.interpolate(p5, scale_factor=2, mode="nearest") p3 = lateral_3(c3) + F.interpolate(p4, scale_factor=2, mode="nearest") p2 = lateral_2(c2) + F.interpolate(p3, scale_factor=2, mode="nearest") # 平滑卷积，输出最终特征 p5 = smooth_5(p5) p4 = smooth_4(p4) p3 = smooth_3(p3) p2 = smooth_2(p2) return p2, p3, p4, p5这段代码省略了主干网络部分，但FPN的数据流已经很清晰：每一层的最终输出，都是“本层横向特征 + 上一层上采样结果”。理解了这个，后面调参就有方向了。
4. 实战篇：如何把FPN用到自己的检测任务里
4.1 选主干网络与FPN层数
选主干取决于算力和精度预期。追求精度，可以用较深的网络如ResNet-50或更高；追求速度，换轻量主干。这里有个容易忽略的点：不同主干网络的下采样结构不同，能拿到的特征层也不一样，适配FPN时要注意每个stage输出的stride是否一致。有些轻量网络stage划分不明显，需要手动确认特征图尺寸变化。我在一个边缘设备项目里就遇到过这种情况，文档里写的结构和实际输出对不上，最后只能逐层打印feature map形状来确认。
FPN层数方面，如果任务里目标极小，可以尝试把P2纳入预测。如果小目标不多且算力紧张，去掉P2、只用P3到P5也够用。判断依据很简单：看验证集上小目标的召回率。召回率上不去，再考虑增加高分辨率FPN层。不要一开始就无脑上P2，有的场景目标根本没有那么小，徒增计算量而已。
4.2 为小目标重新设计锚框
FPN是分层预测，锚框也需要分层配置。常见做法是每一层对应一个基础尺度，按2的幂次递增。例如P2对应小尺度，P5对应大尺度，每层再配几个长宽比。这个思路本身没错，但默认配置不一定贴合你的数据。实际项目里，我会先统计训练集中所有目标框的宽高分布，再做聚类，把锚框尺寸定出来。这一步很多人嫌麻烦不做，但对小目标场景来说，锚框尺寸匹配度直接决定召回率。
如果不想手工设计锚框，也可以换用无锚框的检测头，它本质上是用中心点加距离回归来替代锚框匹配，对小目标有一定友好度。但FPN的价值依然存在——无锚框检测头同样依赖FPN提供多尺度特征，没有FPN，小目标照样找不到。
4.3 正负样本分配与损失函数
小目标的正负样本分配比大目标敏感得多。大目标面积大，锚框和真实框有偏差时IoU也不会太小，容易命中正样本；小目标正好相反，偏差几个像素IoU就掉得厉害。所以对基于IoU匹配的打法，小目标场景不要死守默认阈值，可以适当降低匹配IoU，或者改用基于中心距离的分配策略。
损失函数方面，分类损失和回归损失要分开考虑。小目标样本少、正负样本极不平衡，用focal loss能显著缓解；回归损失建议在默认平滑L1基础上，换成对位置误差更敏感的变体。小目标对定位误差极其敏感，几个像素的偏差对大目标无关痛痒，对小目标可能就是一半框都偏出去了。
4.4 让小目标“变大”的训练技巧
与其让小目标在难以分辨的特征里硬猜，不如在数据层面帮它一把。这个方向我强烈建议先做，成本低、见效快。
图像裁剪切块：把高分辨率图切成若干patch，再对patch做缩放训练，等效于把小目标放大几倍。对小目标效果非常显著，但要注意目标的跨块截断问题，切块时最好带一定重叠。
Mosaic或Copy-Paste：把出现小目标的区域复制粘贴到其他图像里，增加小目标出现频率和背景多样性。粘贴时要做随机旋转缩放，不然模型会学到固定的粘贴痕迹，反而损害泛化能力。
多尺度训练：每轮随机缩放输入图像尺寸，让模型见过不同尺度下的目标形态。对小目标场景，把短边放大一些训练会更友好。
这些技巧不是FPN的替代品，而是给FPN提供更高质量特征的辅助手段。数据层的功夫不做好，FPN设计得再好也效果有限。
4.5 推理阶段还能再榨一点性能
推理阶段还有两个实用操作。一是多尺度测试：把同一张图缩放到几个尺寸分别前向，再把结果合并。对小目标，放大图像后再检测往往能捡回不少漏检。多尺度推理会增加耗时，适合离线评测或实时性要求不高的场景。我一般用原图和1.5倍放大两个尺度，基本能稳定提升小目标AP。
二是调整NMS阈值。FPN多层预测会把同一目标在不同层都检出，出现大量重复框。NMS阈值设太严容易把低置信度的小目标框一起压掉，设太松又会出现一个目标多个框。我的做法是先看单层输出的检测结果，再跨层合并后观察重复框分布，手动找到合适的阈值区间。这个参数值得花时间调，它对最终可视效果的影响非常大。
5. 常见问题与排查实录
5.1 加了FPN还是漏检小目标
最常见的原因是特征层取舍不对。很多检测库默认不输出P2级别的特征，或者默认配置对低层特征不友好。先确认FPN输出的最低层是P2还是P3，如果只有P3起步，试试把P2纳入预测。
第二个原因是锚框与小目标尺寸不匹配。统计一下你能检到的小目标框尺寸，再看分配给低层FPN的锚框是否覆盖了这些尺寸。覆盖不到，就调锚框或增加更高分辨率的FPN层。
第三个容易被忽略的原因：标注本身有问题。小目标在图像里本就难辨认，很多数据集里小目标标注框存在偏移或缺失，模型学的是错误边界。FPN只能提供特征，纠正不了错误标签。遇到小目标一直漏检，先抽检一部分标注看质量，别急着调模型。
5.2 小目标检出来了，误检却也变多了
把P2拉进来之后，低层特征包含了大量纹理边缘信息，模型容易把琐碎结构误判为目标。解决思路是让低层特征“更语义化”：加大低层FPN融合后的卷积处理，或者对P2特征做更强的平滑。同时增加难负样本挖掘，让模型多见识“像目标的背景”，误检通常会明显下降。
还有一个很实用的招：单独调低层特征对应的分类置信度阈值。低层特征分辨率高，召回率本身就高，把阈值提高一些，只保留高置信度框，能有效压制误检。有时候低层阈值比全局默认值高0.05到0.1，误检就能压下一大截。
5.3 各层损失严重不平衡
FPN是多个层独立预测，如果各层学习难度差异太大，loss会失衡。常见表现是P2层的loss一直高居不下，P5层的loss降得很快。排查时可以分别记录各层分类损失和回归损失曲线，看哪层贡献最大。处理办法有三个：给各层loss加权、按各层正样本数量做归一化、或者用focal loss抑制易分样本的贡献。
我在一个项目里就遇到过P2层loss高且不降的情况，后来发现是该层正样本数量极少，梯度被大量负样本淹没。调整采样策略，强制保证每层有最少数量正样本之后，问题马上缓解。如果只盯着全局loss调参，这类问题很难发现。
5.4 训练震荡、不收敛
FPN本身很少导致不收敛，不收敛多半出在配套环节。常见诱发因素有：学习率过大、正负样本比例失衡、主干网络没有加载预训练权重。如果确认这些都没问题，检查一下多尺度训练时的图像尺寸范围。某些增强方式可能会把图像缩得太小，小目标直接缩没了，模型相当于在完全不同的分布上反复横跳，自然很难收敛。
另外，FPN融合后的特征和普通单层特征分布有差异，批量归一化层的参数需要重新适配。如果从别的任务直接迁移权重而不做足够轮数的微调，前几个epoch容易波动，这属于正常现象，不要过早下结论。
5.5 FPN层选型与适用场景快速对照
| 场景 | 推荐FPN层范围 | 说明 |
|---|---|---|
| 小目标密集 | P2-P5，必要时增加P1 | 保分辨率，代价是速度下降 |
| 通用检测 | P3-P6 | 平衡精度和速度 |
| 高通量视频、边缘设备 | P3-P5，可裁剪最浅层 | 控制计算量，优先保中等目标 |
| 超大目标/全景场景 | P4-P7 | 覆盖大目标，浅层意义有限 |
这个对照表不是绝对的，但它能帮你快速定位自己的场景对应哪种配置，避免在小目标场景里用一个默认的通用配置白费力气。
最后说几句个人体会
FPN不是那种加了就能带来质变的单点技巧，但如果你愿意花时间把它的原理、参数和工程细节吃透，你会发现它的收益是系统性的。我在好几个项目里验证过同一件事：同样一套检测框架，FPN层调整得当之后，小目标召回率能提升十几甚至几十个百分点，这往往比换一个更大更深的骨干网络效果更明显。
踩过几次坑之后，我现在的习惯是先做数据分析，再看网络结构。小目标有多大、密集程度如何、标注质量是否可信，这些问题搞清楚了，FPN怎么配、锚框怎么设、损失怎么调，答案基本会自己浮现出来。希望这篇内容能帮你少走一些我已经走过的弯路。
