做目标检测这几年，我几乎每次给新人讲网络结构，都会从多尺度特征融合讲起。很多刚入门的朋友总喜欢直接把网络加深、加宽，觉得这样就能提升精度，但真正让检测模型产生质变的，往往是它怎么处理“同一个物体在不同尺度下呈现出的巨大差异”。而谈到这个问题，FPN金字塔结构是绝对绕不开的一个名字。
FPN全称Feature Pyramid Network，直译过来就是特征金字塔网络，核心解决的就是多尺度目标识别问题。在它出现之前，业内处理多尺度基本靠“蛮力”，在它出现之后，“如何设计特征融合路径”成了检测模型的主流话题。这篇内容我准备把它从诞生背景、核心设计到后续变体完整梳理一遍，也会把自己在实操中踩过的坑和调参心得放进去，适合正在学习检测模型原理、或者准备在自己的项目里引入多尺度增强方案的开发者参考。
1. 多尺度问题到底难在哪，FPN之前的解法为什么不够用
1.1 小目标与大事物的天然矛盾
先想一个最直观的场景：一张照片里，远处有一只鸟，近处有一辆卡车。鸟可能只占几十个像素，卡车可能占据半个画面。卷积神经网络提取特征时，浅层分辨率高、语义弱，适合描边缘、看纹理；深层分辨率低、语义强，能回答“这是什么”。问题是，小目标经过几轮下采样之后，细节几乎被抹光了，深层特征里根本找不到它。大目标恰恰相反，它需要足够的语义信息才能被正确分类，单靠浅层细节判断不了。
这就是多尺度问题的本质矛盾：你很难用同一组特征同时满足小目标的定位需求和大目标的语义需求。早期做法非常简单粗暴，直接把输入图像缩放到不同尺寸，分别送进网络提取特征再做预测。这种方法在传统手工特征时代很常见，但在深度学习时代有个致命伤：计算量成倍增加。缩放三个尺度，推理时间基本变成三倍，这在工业落地场景中根本扛不住。
1.2 SSD的尝试与它的局限
在FPN之前，检测领域最有代表性的多尺度尝试是SSD。SSD的思路是使用网络不同阶段的特征图分别预测不同尺寸的物体，浅层特征图预测小目标，深层特征图预测大目标。听起来合理，实际操作中却存在一个明显的断层问题：浅层特征语义信息太弱，深层特征分辨率太低，中间缺少信息交换的桥梁。小目标虽然分到了高分辨率的特征图，但网络还没学到足够抽象的语义，分类准确率上不去。
我自己早年用SSD训练过一个行人检测任务，小尺寸行人漏检率一直降不下来，后来分析特征图才意识到，浅层特征虽然保留了位置信息，但对“这是一个行人”这件事的判断能力很弱。SSD相当于把不同尺度的物体分给了不同“年级”的学生去答，低年级学生位置感强但知识储备不够，高年级学生知识够但眼神不好。这个矛盾靠单纯增加anchor数量解决不了，必须从特征本身下手。
2. FPN的破局思路：让信息在金字塔上下流动
2.1 横向连接与前向传播路径的重新设计
FPN真正聪明的地方在于，它没有重新发明轮子，而是把已有的骨干网络不同层级的输出全部利用起来，然后设计了一条“自顶向下”的信息通路。
具体做法可以拆成三步。第一步是自底向上的前向传播，这部分就是骨干网络原本的卷积过程，每一层stride逐级增大，输出一系列分辨率递减的特征图。第二步是自顶向下的上采样路径，最高层特征经过1x1卷积调整通道数，然后通过最近邻上采样放大尺寸。第三步是横向连接，上采样后的特征与骨干网络同尺寸的特征逐元素相加。
这里有个关键细节容易被忽略：上采样直接放大的是低分辨率特征的“轮廓”，但它丢失的细节无法凭空恢复，所以必须和同尺寸的高分辨率特征融合，才能把边缘、纹理信息重新注入。横向连接在这里起到了“记忆恢复”的作用，它让深层语义和浅层细节真正见面。每一层融合后再经过一个3x3卷积，用于消除上采样带来的重叠混叠效应，这一步在原始论文里专门做了消融实验证明有效。
2.2 为什么每层都要独立预测
FPN的预测方式也和前代方法不同，它不是在融合后的最高层做全局预测，而是在每一个金字塔层级分别做预测。这就像是给每个尺度分配了一个专属“专家”，小目标由P2或P3层负责，大目标由P4或P5层负责。
我在项目中测试过一种对比方案：只使用融合后的最高层特征做预测，其他层特征虽然参与了融合但不直接输出。结果小目标的AP掉了接近10个点。这说明FPN的价值不只是在特征上做融合，还在于预测头的“分而治之”。每个预测头共享权重，但又针对特定尺度范围优化，这种结构上的解耦比单纯靠loss权重调参要高效得多。
从参数上看，FPN的横向连接和上采样路径增加的参数量很少，1x1卷积主要用来统一通道维度。这个设计对工程落地极其友好，骨干网络的计算量没变，只增加了少量融合计算就能带来显著精度提升。我记得有同行在某嵌入式平台上做过统计，FPN模块带来的额外延迟只有个位数毫秒，收益却非常可观。
3. FPN的变体演进：从单向融合到双向融合
3.1 PANet的额外自底向上路径
FPN提出后，很快有人发现它有一个结构上的盲区：信息只能从高层向低层流动，深层语义可以增强浅层特征，但浅层的定位信息很难反向传到高层。PANet针对这个问题增加了一条自底向上的增强路径，把高分辨率特征逐级融合到低分辨率特征中。
实际操作中，PANet把这条额外路径接在FPN输出之后，对每个层级的输出再做一次自底向上的融合。效果是改善了较大目标的定位精度，尤其是那些边界比较模糊的目标。我在某个工业质检项目中做过对比，使用PANet结构后，大尺寸缺陷的定位IOU提升了大约4%，而小目标精度和原版FPN基本持平。这说明双向融合不是单纯“越多越好”，而是针对性解决不同层级的信息缺失。
PANet的代价是多了一条融合路径，显存占用和计算量略有增加，在算力受限的场景中需要权衡。但在多数情况下，这点开销换来的精度提升是值得的。
3.2 BiFPN的加权融合思路
BiFPN的提出则把融合方式从简单相加变成了“加权相加”。核心洞察是：不同输入特征对输出的贡献不应该是一样的。高层语义特征和浅层细节特征融合时，浅层特征可能含有大量背景噪声，直接相加会把噪声带进来，加权则可以学出一个“注意力系数”来控制信息流入程度。
具体来说，BiFPN为每条输入边学习一个可训练的权重，通过归一化处理后和对应特征相乘再相加。这种设计让网络自己决定“该听谁的”，而不是默认所有来源平等。在EfficientDet系列中，BiFPN配合缩放策略实现了很好的精度和效率平衡，也证明了加权融合在检测任务中确实有效。
我自己复现过BiFPN的训练过程，有一个体会：加权融合让训练初期更稳定，loss的下降曲线更平滑，但训练时间会比原版FPN稍长，因为额外权重参数需要更多迭代才能收敛。如果你的任务训练数据比较少，直接上BiFPN不一定比FPN好，这需要提前考虑。
3.3 更激进的NAS搜出来的融合结构
除了人工设计的融合方案，后来还出现了用神经网络架构搜索自动寻找融合路径的做法。NAS-FPN就是尝试在搜索空间中自动组合不同的融合操作，找到比人工设计更优的结构。这种方式在上限上确实更高，但搜索成本极高，普通开发者基本不会在自有项目中去跑搜索流程，更多是直接使用搜索出的现成结构做backbone替换。
从我的实践角度看，NAS搜出来的结构往往比较复杂，部署时可能要做一些剪枝和优化，否则在边缘设备上推理速度不够理想。而FPN和PANet这类人工设计的结构胜在简洁、易于理解和调试，对于绝大多数实际项目来说，已经够用了。
4. FPN在各类任务中的影响与实操体验
4.1 分割任务里FPN的迁移
FPN不只是检测模型的专属工具，它同样被应用在语义分割和实例分割任务中。分割任务同样面临多尺度问题，因为不同大小的物体都需要精确的像素级预测。FPN的自顶向下融合思想，与U-Net这类编码器-解码器结构有异曲同工之妙，只是FPN更强调多层级输出的独立使用。
我在一个遥感图像分割项目中，把U-Net的跳跃连接改成了类似FPN的金字塔融合方式，每个层级输出一个分割预测图，再融合得到最终结果。和单层输出相比，小目标的边界完整度提升明显。需要注意的一点是，分割任务的GT是全像素标注，融合策略如果设计不当，容易出现边缘模糊。这种情况下，在金字塔输出后增加一个轻量的解码头，会比直接对融合特征做上采样更可靠。
4.2 关键点检测中的金字塔策略
人体姿态估计和关键点检测中也常见FPN的影子。关键点任务对空间精度要求很高，通常需要高分辨率的特征图，但也需要足够的语义来判别关键点类别。FPN的多层级输出在这里可以起到类似“由粗到精”的作用。
我在一个人手关键点检测项目里试过一个策略：用FPN的P2层做主要输出，因为它的分辨率最高，同时在训练时加入P3、P4层的辅助损失，相当于监督网络在不同尺度下都学到合理的关键点表达。这个做法有一点像深度监督，但利用了金字塔的天然多尺度结构，训练稳定性比单纯加深网络要好。后续推理时只使用P2层输出，不会带来额外计算量。
4.3 轻量化改进：我踩过的两个坑
轻量化是FPN在实际落地中绕不开的话题。很多人直接把原版FPN用到MobileNet一类的轻量骨干上，效果却不太理想。我踩过两个比较典型的坑。
第一个坑是通道数设置不合理。原版FPN通常使用256通道，这在ResNet这类大模型上没问题，但轻量骨干特征本身表达能力有限，强行使用256通道反而会因为参数占比过高而难以训练。我后来把通道数降到128甚至96，精度没有明显下降，速度却快了明显。第二个坑是上采样方式的误用，有些实现直接使用转置卷积替代最近邻上采样，认为可学习的上采样会更好，实际在轻量模型上反而容易引入棋盘效应，而且训练不稳定。老老实实使用最近邻上采样加3x3卷积，效果最稳定。
这类问题在别人的博客里通常一笔带过，但我建议做落地的朋友务必亲身测试一下，不同骨干对融合策略的敏感度差异非常大，轻量模型尤其如此。
5. 训练技巧、参数配置与常见问题排查
5.1 金字塔层数的选择与anchor匹配策略
FPN层数选择直接关系到anchor的分配和计算开销。以通用检测框架为例，通常使用P2到P6这五个层级，P2对应stride 4，P6对应stride 64。如果主干网络没有足够的层级输出，可以在高层额外接一个stride为64的卷积下采样分支。
anchor匹配策略也需要跟着金字塔调整。小目标应该主要匹配低stride的高分辨率层级，大目标匹配高stride层级。实际操作中，有的框架允许为不同层级单独设置anchor尺寸范围，这样做的好处是让每个预测头专注于自己的尺度区间，减少正样本的歧义。如果全部使用相同的anchor匹配规则，小目标很容易被分配到语义较弱的浅层，训练时梯度贡献也不均衡。
我通常的做法是先统计训练集中目标的尺寸分布，再根据分布来划分每个金字塔层级的匹配范围。比如在某个行人检测数据集中，小目标占比超过一半，我就把P2、P3层匹配更多的anchor，并适当增加loss权重，这样比盲目堆数据更有效。
5.2 训练不稳定怎么办，先查这四处
FPN结构本身不会带来训练不稳定的问题，但如果训练曲线出现剧烈震荡，我建议按顺序排查这四处。
第一处是初始化方式。FPN的1x1卷积和3x3卷积如果初始化不当，很容易在早期阶段产生较大的梯度波动。我习惯对金字塔模块内的卷基层使用偏小的标准差初始化，或者直接沿用检测框架提供的默认初始化策略，不要什么都不设置直接开训。
第二处是学习率。融合路径增加了网络的非线性程度，同样的学习率在普通模型上没问题，加上FPN后可能偏高。如果loss出现早期上升或震荡，优先降低学习率到原来的1/3左右再试。
第三处是正负样本比例。FPN每个层级都有独立预测头，如果不加控制，负样本数量会成倍增加，导致训练被背景主导。建议开启在线困难样本挖掘或者调整采样比例，确保每个层级都关心自己的目标尺度。
第四处是BatchNorm的统计量更新。轻量骨干网络加上FPN后，如果batch size比较小，BN的running mean和running variance会波动较大。可以试试将部分BN层冻结，或使用更大的batch size做同步BN，稳定效果会明显改善。
5.3 推理阶段能否裁剪金字塔分支
部署时最常见的优化手段是裁剪掉某些金字塔层级的预测头。如果目标场景中完全没有小目标需求，可以单独去掉P2层的预测，固定使用P3到P5层，推理速度能提升一截。反过来，如果场景只有小目标，那么P4、P5层的预测分支也可以裁掉。
我在一个端侧的实时检测项目里具体验证过：去掉P2层和对应的浅层融合路径之后，模型体积缩小了约15%，单帧推理时间缩短了约20%，而由于场景中小目标极少，精度几乎没有下降。这类裁剪策略一定要基于对实际业务数据的分析，不能凭感觉做。另外要注意，某些框架的FPN实现里，即使去掉某个预测分支，融合路径的计算仍然存在，这时需要连同横向连接一起剪掉，才能真正节省计算。
6. FPN之后的演进方向与个人体会
6.1 与Transformer架构的结合
FPN的思想并没有随着检测骨干从卷积网络转向Transformer而退出舞台，相反，它被重新包装后继承了下来。很多基于Transformer的检测模型仍然需要多尺度特征。标准做法是把骨干网络不同阶段的输出整理成一个特征金字塔，再送入Transformer编码器进行全局建模。
这种结合本质上是用Transformer弥补CNN在长距离依赖上的不足，用FPN弥补Transformer在细粒度定位上的弱势。两者不是替代关系，而是互补关系。我在一个视觉检测项目里测试过用Transformer替换部分融合卷积的效果，全局上下文确实更强了，但训练收敛速度明显变慢，对小数据集很不友好。纯卷积的FPN在中等规模数据集上仍然是最稳妥的选择。
6.2 从特征金字塔到特征"广场"
近两年的研究有一个有趣的趋势，不再局限于金字塔这种单向层级结构，而是构建一种更扁平的、各层级充分互联的“特征广场”。这种设计让任意尺度的信息可以跨层级直接流动，少走几趟弯路。典型代表是一些基于图结构或注意力机制的特征交互方式。
这些新结构在大型数据集上确实展示出更高的上限，但复杂度和部署难度也水涨船高。我个人的建议是，除非业务场景对精度有极致要求且算力充裕，否则不要把花哨的结构直接搬到线上。FPN经过这些年的验证，稳定性、可解释性、部署友好度都是经得起考验的，对新项目来说仍然是一个非常好的起点。
6.3 我的选型参考
如果你现在要开始一个目标检测项目，多尺度模块的选择可以参考我常用的一套判断逻辑。
数据中小目标占比高，优先保留P2层以及更浅的融合路径，必要时增加一个stride为2的超浅层。数据中目标尺度跨度极大，建议使用PANet这类双向融合结构，或者干脆在FPN基础上加一条浅层到深层的旁路。训练数据量偏少，尽量选择结构简单的FPN，减少额外参数和训练难度。部署在边缘设备，建议把通道数降到128或更低，同时裁剪不必要的金字塔分支，换取推理速度。
我最近的一个项目就用FPN配合MobileNetV3做工业零部件检测，检测目标尺寸跨度从十几个像素到几百个像素不等，经过通道压缩和分支裁剪后，模型在嵌入式设备上单帧推理耗时约30毫秒，精度也达到了业务要求。FPN这种经典结构在合适的前提下，能发挥出的价值依然远超预期。
7. 常用框架中的FPN实现要点与避坑心得
7.1 不同框架实现的差异
FPN在主流检测框架中的实现细节并不完全一致，这一点容易被人忽略。有的框架默认只输出P3到P5，有的包含P2，还有的额外输出P6。如果你从某个开源项目迁移到另一个项目，务必先确认金字塔的层级范围和通道数，否则很容易出现预训练权重不匹配、推理结果莫名变差的情况。
我在一次迁移中踩过类似的坑，原框架使用P2到P6共五层，新框架只使用P3到P5，结果小目标检测能力明显下降。排查时第一反应是模型结构有问题，折腾半天才发现是金字塔层级的差异。这类细节在文档里通常不会醒目标注，建议换框架时顺手打印一下每一层特征的shape，快速确认层级结构是否符合预期。
7.2 预训练权重对FPN收敛的影响
FPN模块本身通常需要从零开始训练，因为预训练权重一般只包含骨干网络部分。这意味着融合路径的参数会在训练初期产生较大的梯度更新，如果骨干网络的预训练权重质量不高，FPN的收敛速度会明显变慢。
我的实践经验是优先使用经过充分预训练的骨干权重，即使骨干网络结构相同，不同预训练策略带来的效果差异也会反映到FPN训练效率上。如果数据集与预训练数据域差异很大，可以考虑在训练初期冻结骨干的前几层，让FPN先适应新的特征分布，再逐步解冻。这个方法在域迁移场景中实测有效，能显著降低早期训练的震荡。
7.3 可视化特征图检查融合效果
FPN是否正常工作，除了看指标，更直接的方式是可视化融合后的特征图。我看过不少同学在调试FPN时只知道看loss，其实特征图能告诉你更多。
具体做法是挑选一张包含大小差异明显目标的图片，分别输出P2和P5层融合后的特征热力图。正常情况下，P2层应当能清晰勾勒小目标的边缘，P5层则对整体语义有较强响应。如果发现P2层特征几乎全是背景噪声，说明横向连接或上采样路径可能出现了问题，需要检查通道对齐和特征相加的实现是否正确。
另一个值得注意的点是，特征图响应过弱甚至全零，通常不是FPN本身的问题，而是上游骨干网络对应层失效了。这种情况下排查重点应该放在骨干部分，而不是在FPN上调参。
FPN从2017年提出到现在，经历了大量检测模型的更迭和验证，已经成为目标检测中不可缺失的基础模块。它的设计思想不只在目标检测领域，在关键点检测、实例分割和语义分割等方向都持续产生着影响。回想最早在复杂场景里被小目标和大目标反复折磨的日子，FPN的出现确实让我少走了很多弯路，只要理解了它“让不同层级的特征互相补位”的本质，后面无论面对什么花哨的变体，都能快速抓住重点。如果你正准备在自己的检测任务中融入多尺度特征融合，不妨从FPN开始，把结构吃透再谈优化。
