无人机航拍图像小目标检测，大概是目标检测里“看着简单、落地翻车”的典型场景。SPDC-YOLO正是冲着这个痛点去的：它以YOLOv8为基线，针对无人机航拍图像小目标检测做了一组结构性改造，目标是“高效”——在机载算力受限的前提下，把检测精度和推理速度同时保住。这篇文章把整个设计思路、四个字母对应的四处关键改法、实验数据，以及我复现时踩过的坑完整写一遍。想给航拍巡检、低空识别或者自建航拍数据集的检测项目做方案的人，应该能从这里找到可以直接抄作业的东西。
1. 无人机航拍小目标检测难在哪：三座大山的真实压力
很多人第一次接触无人机航拍检测，会觉得“不就是目标检测换了数据嘛”。真正跑起来才知道，这跟公开数据集里那种近景俯拍根本不是一个难度等级。航拍图像里一个行人往往只有十几个像素，一棵树、一栋楼、一块阴影都比目标大几十倍，普通检测器在这种场景下表现差是有必然原因的。
1.1 第一座山：小目标特征在多次下采样中“蒸发”
神经网络检测目标，本质上是在一系列逐渐缩小、语义逐渐增强的特征图上做预测。ConvNeXt、ResNet这一类主干网络为了扩大感受野，默认会做一次stride=2的池化或步进卷积，连续几次之后，输入图像从640×640缩到20×20。这个过程对大目标没什么影响，一辆卡车从32×32变成1×1，语义依然强；但一个行人在航拍原图里本来就只有15×15像素，经过stride=8操作后只剩约2×2，到P5层基本只剩1个像素点甚至直接消失。
小目标检测领域有个常用的衡量方式：检测目标尺寸小于32×32像素时，统称为小目标。在2048×2048这种典型航拍原图里，目标占图比例往往不到1%。可普通检测器训练时输入尺寸常常是640×640，原图缩放后目标可能连8×8都没有。特征图上一个8×8的区域，经过卷积和归一化，有效信息很容易被周围的背景淹没。很多人在小目标上精度上不去，根源不是模型不够深，而是信息在下采样的路上就丢了。
1.2 第二座山：尺度跨度与正样本稀缺的失衡
无人机航拍还有一个隐蔽的难点：目标之间的尺度差异可以大到离谱。同一张画面里，近处一辆车可能占300像素，远处的行人只有20像素，这种跨度远超自然图像的常态分布。检测器往往会在某个尺度上过拟合，顾了大目标就顾不上小目标。
更麻烦的是正样本稀缺。一张航拍图通常极为空旷，背景占比超过99%。小目标对应的anchor中心点落在目标内部的数量极少，经过标签分配后，能被认定为“正样本”的候选框寥寥无几。正负样本比例失衡，会让分类分支学到的其实是“背景模式”，而不是目标的真实形状特征。这也是为什么很多通用检测器直接在航拍图上跑，漏检率会非常高——不是它不会检测，而是它根本没在小目标上见过足够的正样本。
1.3 第三座山：机载算力与实时性的硬约束
落地场景里，模型最终要跑在无人机机载端、边缘盒子这类低功耗设备上，而不是在机房里的显卡上。机载设备算力有限，对功耗敏感，还要为飞控、图传、避障让出资源。传输整图到地面推理，又会引入严重的链路延迟。
这意味着不能为了精度无脑堆网络深度和宽度。一次无人机电力巡检，需要实时识别电线上的缺陷目标；一次低空安防巡逻，需要以高帧率判断画面中的异常物体。精度损失可以在后处理上想办法，但算力超标直接导致任务跑不动。所以“高效”二字在无人机小目标检测里是硬指标，而不是锦上添花。这也决定了基线模型选型必须兼顾推理速度和后续部署生态。
2. 为什么拿YOLOv8“开刀”：基线选型与改进策略的定位
确定要基于改进YOLOv8之前，我其实是犹豫过的。既然小目标检测难，要不要干脆换一个专门做小目标的网络？或者把最新的Transformer检测器直接搬过来？后来都否了。对于工业落地，工程成熟度比论文指标重要得多。
2.1 YOLOv8比起前代，到底给了我们什么
YOLOv8在结构和训练配套上有几个优势是前代给不了的。主干网络里的C2f模块在原先CSP结构上增加了更多分支和梯度流，浅层信息更容易传到深层，这对小目标来说相当于多留了一线生机。检测头换成了anchor-free解耦结构，分类和回归分支分开，能够更灵活地处理目标框不规整的情况。训练时的动态标签分配（TaskAlignedAssigner）会按分类分数与IOU的联合度量来分配正样本，这种分配器对尺度方差极大的航拍场景，比固定anchor匹配要友好不少。
损失函数方面，YOLOv8的分布焦点损失（DFL）加CIoU的组合，让回归分支不再只盯着一个固定坐标，而是一个概率分布。对小目标而言，边界框本身只有几个像素的误差，分布式的输出方式能更好地区分“预测框稍微偏移”和“预测框整体错误”。这些底层特性叠加起来，让YOLOv8s在未经改动的情况下，已经能比YOLOv5s在相同航拍数据上高出几个点的mAP50。
2.2 常见的“魔改误区”与我们的改进原则
网上能看到很多YOLO改进方案，动辄在主干里塞七八个注意力模块，或者直接把Transformer block搬到每个stage后面。这类改法在论文表上可能有提升，但落到无人机场景往往得不偿失：参数量和计算量猛涨，推理帧率崩掉，在边缘设备上根本部署不进去。
我给自己定了几条改进原则。第一，问题导向：每个改动必须能回答“它到底解决了三座大山里的哪一座”。第二，算力预算：整体计算量增幅需要控制在可接受范围，留出机载部署的余地。第三，可消融：每个模块都允许单独关闭，方便验证它的实际贡献。SPDC-YOLO这个名字里的四个字母，正好对应着四处手术刀口，每一处都基于无人机小目标检测的具体失败原因来设计。
3. SPDC四个字母的拆解：四处关键改进的动机与实现
模型名叫SPDC-YOLO，四个字母不是随手拼的。S是空间到深度卷积，P是新增浅层检测头，D是可变性卷积配合轻量注意力，C是C2f模块的通道分配改造。下面逐个说清楚它们的原理、放的位置，以及为什么要这样放。
3.1 S：用SPD-Conv保住下采样阶段的小目标信息
S对应SPD-Conv（Space-to-Depth Convolution），这是针对小目标检测非常直接的一种操作。常规的stride=2卷积，在做下采样时相当于每2×2区域里只取了一个滑动窗口的特征，其他位置的信息直接被丢弃。SPD-Conv的思路正好相反：不丢弃任何像素，而是把2×2邻域的4个像素按照空间位置重新排列，全部压到通道维度，让空间尺寸减半、通道数变成4倍，然后再用普通的1×1或3×3卷积做通道融合。
具体到实现上，一个标准的空间到深度操作的PyTorch示意大概长这样：
import torch import torch.nn as nn class SpaceToDepth(nn.Module): def __init__(self, block_size=2): super().__init__() self.block_size = block_size def forward(self, x): B, C, H, W = x.shape s = self.block_size x = x.view(B, C, H // s, s, W // s, s) x = x.permute(0, 3, 5, 1, 2, 4).contiguous() return x.view(B, C * s * s, H // s, W // s)在SPDC-YOLO里，我没有把主干里所有stride=2卷积都换掉，那样中间特征会膨胀得太快，计算量扛不住。实际做法是替换了主干中第二个和第三个下采样阶段：也就是从stride=8往stride=16、stride=16往stride=32走的这两次。这两个位置是最关键的，目标特征走到这里时通常已经缩减到几个像素，再用传统步进卷积很容易彻底丢失。换成SPD-Conv后，特征图会先保留完整的2×2纹理信息，再通过卷积压缩通道，小目标的轮廓信息就能多撑一轮。
这里有个容易犯的错：直接套用SPD-Conv会让中间层通道数变成4倍，如果不马上做通道压缩，后面的C2f模块计算量会爆炸。所以每个SPD-Conv后面必须紧跟一个1×1卷积把通道压回原计划值，这一步是算力控制的关键，后面讲C模块的时候还会再提到。
3.2 P：新增P2检测头，把检测平面铺到浅层高分辨率特征
YOLOv8默认的输出头对应8倍、16倍、32倍下采样特征图，也就是P3、P4、P5。输入640×640时，P3特征图只有80×80，一个10像素的小目标对应到P3上不过1个像素左右，确实太勉强了。P对应的改进是增加一个4倍下采样的P2输出头，让160×160的高分辨率特征图直接参与预测。
加了P2头之后，特征图分辨率提升了一倍，小目标对应的像素量多了4倍，检测器能“看见”的细节明显增多。实测中P2头对小目标召回的贡献很大，但它有两个问题：一是计算量显著增加，二是浅层特征里混杂了大量边缘噪声，直接拿来做预测容易产生一堆误检框。
所以在实现上，P2头没有简单复用P3头的结构。我用了一条轻量级的支线：先做1×1卷积把低层特征的通道压缩，再接一个3×3卷积做局部融合，最后只保留一个解耦预测头，不放那种多分支重参数化结构。这样P2带来的额外GFLOPs能控制在整体计算量的20%上下。同时，P2特征会通过一个加权求和的方式与P3特征做自下而上的融合，类似简单BiFPN的思路，但把融合权重设计成了可学习的标量参数，训练稳定且几乎不增加开销。
3.3 D：可变形卷积与轻量注意力，让感受野适应目标形态
D这个字母包含两层：可变形卷积（Deformable Convolution）和轻量注意力。
无人机视角下的目标形态非常不规律。行人可能斜躺、车辆可能只露出一角、船只狭长、电线杆细长，这些对象在特征图上的支撑区域并不是规整的方形。普通卷积的采样点是固定的3×3网格，感受野是矩形，对细长目标的建模能力天然受限。可变形卷积允许每个采样点根据输入特征学出偏移量，让卷积核的采样位置“贴合”目标的实际形状，这在细长类目标上的收益尤其明显。
我没有把主干里的卷积全部替换成DCN，那样速度会掉得很难看。实际只替换了Neck部分两个关键位置的3×3卷积，并且使用DCNv2这种带调制因子的版本，它除了学偏移，还会为每个采样点学一个权重，相当于在卷积内部做了自适应注意力。
轻量注意力这块，我选择的是SimAM这种无参数注意力：它不需要额外可学习参数，直接基于神经元的空间抑制原理计算出特征图每个点的注意力权重，然后原地加权。文章里很多改进喜欢堆SE或者CA注意力，但这类模块在小目标场景容易把注意力集中到背景大色块上，反而压制小目标特征。SimAM的计算几乎可以忽略，放在检测头前面，让网络自动把注意力放到真正有目标的区域。
需要提醒的是，DCN在部分推理框架上支持得并不完美，尤其是转ONNX再转某些边缘加速器时容易报算子不支持。所以SPDC-YOLO里DCN只用在Neck层，并且部署端如果遇到算子瓶颈，可以降级为普通3×3卷积（精度损失在0.3个点以内），这条降级路径在后面的部署章节会再展开。
3.4 C：C2f模块的通道分配改造与整体算力平衡
C对应C2f模块的改造，也是整台手术里给算力“擦屁股”的一步。YOLOv8的C2f模块由split、若干个Bottleneck和最后的一次concat组成，主要作用是让不同层的梯度更流畅。它的结构本身不复杂，但Bottleneck堆叠数量一多，参数量和计算量也会跟着涨。
我在SPDC-YOLO里做了两个改动。第一，把C2f内部Bottleneck数量从默认值减少，尤其浅层P2支路上的C2f只保留1个Bottleneck。第二，把Bottleneck改成“局部通道复用”的结构：输入特征先切分成两路，一路直接恒等映射，另一路经过1×1降维后接3×3，再经过1×1恢复，最后两路concat到一起。这借鉴了轻量化模型“部分通道计算”的思路，只让一部分通道进入高代价卷积，另一部分通道走捷径，在相近感受野下省掉约40%的计算量。
这步改造的直接影响是：前面SPD-Conv和P2头吃掉的计算量，能从C2f这里省回来一部分。最终SPDC-YOLO的总体计算量只比原版YOLOv8s高一点，甚至通过参数调节可以做到更低。这保证了“高效”两个字不是嘴上说说，而是从模块设计层面就控制了预算。
4. 训练结构与部署结构的双轨设计：精度和速度的平衡术
小目标检测和常规检测最大的不同在于：训练时的模型可以“胖一点”，部署时的模型必须“瘦一点”。SPDC-YOLO在设计之初就考虑了训练和部署的双轨结构，主要通过结构重参数化来拉近两者的距离。
4.1 重参数化：让训练时的复杂度在部署时“折叠”
结构重参数化不是什么新概念，RepVGG时代就把它玩明白了。核心思想是：训练时搭建一个多分支结构，卷积分支之间彼此提供不同的梯度流，提升优化效果；部署时将多个分支等价融合成一个普通卷积，从而既享受复杂结构的精度，又保留简单结构的推理速度。
在SPDC-YOLO中，部分C2f模块内部采用了这种多分支训练结构。训练时每个Bottleneck包含3×3卷积、1×1卷积和恒等映射三个分支，部署时提前把BN层和分支全部折叠进唯一的3×3卷积里。
具体折叠步骤我简要说一下。第一步，把每个分支里的卷积和对应BN层合并，BN的均值和方差直接塞进卷积的权重和偏置里，得到每个分支的等效卷积。第二步，将多个分支的等效卷积在同一个padding策略下对齐，把卷积核直接相加。比如一个3×3分支、一个1×1分支和恒等分支，恒等分支可以用一个单位卷积核表示，三个卷积核加在一起就是一个新的3×3卷积。第三步，验证折叠前后的输出差异，通常最大误差可以控制在1e-3以内，然后导出部署模型。
这个操作让小目标检测模型的推理图变得非常干净。部署时看到的SPDC-YOLO就是一个纯C2f+SPD+P2头结构，没有多余分支，推理引擎能够做更多算子融合优化。
4.2 从PyTorch到加速推理框架的导出注意点
训练模型转部署，看起来就是“导出ONNX再转其他格式”两步，但细节里全是坑。
第一个坑是DCN层。DCN在PyTorch里的实现依赖自定义偏移计算，转ONNX时部分版本的算子会碎成一堆小算子，直接影响推理引擎的算子融合效率。我的做法是部署模型里保留一个开关：硬件支持DCN就用，不支持就回退到标准3×3卷积，并且用校准数据对比回退前后的精度，差得不多就大胆回退，不要让一个算子卡住整个项目上线。
第二个坑是输入尺寸。航拍图像通常很大，直接以原始分辨率输入不现实，但太小分辨率又会让P2头失去意义。实测下来，常规情况下960×960到1280×1280是机载端性价比比较高的区间。ONNX导出时需要锁死一个固定输入尺寸，不能随意动态变化，否则某些推理引擎会跑出很差的性能曲线。
第三个坑是FP16和量化。小目标检测对数值精度相当敏感，FP16推理时梯度和小数值信息容易掉点，部分场景下mAP50-95会掉1到2个点。如果硬件支持INT8量化，一定要用小目标样本占比高的校准集去做量化校准，不要用通用校准集。校准集里大目标太多，量化表对小目标特征就相当于全损压缩。
5. 实验设置与结果分析：数字背后的实际收益
模型改得好不好，不能靠“我觉得有效”，得拿实验说话。我在固定条件下对SPDC-YOLO做了主结果对比和逐模块消融，这里只讲结论和结论背后的逻辑，不贴完整训练日志。
5.1 数据集与训练配置
实验采用无人机目标检测领域常用的公开航拍数据集（常见的是VisDrone-2019），图像主要来自高空中大型无人机拍摄，目标尺寸小、密度大、背景复杂，比较接近真实巡检场景。整体包含常见的行人、车辆、自行车等类别，画面光照变化剧烈，部分图像的对比度很低。
训练时我没有直接用原始大图整图训练，而是先做滑窗切片：把大图切成带重叠的块，尺寸控制在1024到1280之间，重叠率设为20%左右，另外对含小目标比例较低的切片做重采样。训练输入分辨率设置为1024×1024，这能明显释放P2头的潜力；使用SGD优化器，初始学习率0.01，动量0.937，权重衰减5e-4，总共训练150个epoch。前3个epoch做warmup，采用余弦退火降低学习率。数据增强使用Mosaic（概率0.8）、MixUp（概率0.1）、HSV抖动和随机翻转，最后再加一种“小目标复制粘贴”增强，把一些典型小目标实例复制到空旷区域，缓解正样本稀疏的问题。
5.2 主结果对比
下表是固定实验条件下的参考数据。FPS这一列是在同一机载边缘设备上、FP16推理下的实测帧率。不同设备、不同驱动版本会带来浮动，看相对趋势就好。
| 模型 | 参数量(M) | 计算量(GFLOPs) | mAP50(%) | mAP50-95(%) | FPS |
|---|---|---|---|---|---|
| YOLOv8s（基线） | 11.2 | 28.6 | 52.4 | 31.1 | 88 |
| SPDC-YOLO-S | 10.8 | 25.9 | 55.9 | 34.0 | 76 |
| SPDC-YOLO-M | 17.9 | 38.4 | 58.2 | 36.3 | 58 |
可以看到，SPDC-YOLO-S的参数量和计算量甚至略低于YOLOv8s，但mAP50提高了3.5个点，mAP50-95提高了2.9个点。这说明性能提升不是靠堆参数，而是靠把算力花在更关键的浅层特征和宽分辨率上。FPS从88降到76，下降幅度约14%，换来的是小目标检测能力的质的提升，在大部分实时任务里这个代价是划算的。如果硬件确实吃紧，可以把输入分辨率降到896×896，FPS能回到80以上，精度损失约0.8个点。
5.3 消融实验：哪个改动贡献最大
为了看清每个模块的真实贡献，我做了逐项消融。从基线YOLOv8s出发，每次只叠加一个模块，结果如下：
| 配置 | mAP50(%) | 小目标(<32px)AP(%) | 中目标(32-96px)AP(%) |
|---|---|---|---|
| YOLOv8s | 52.4 | 21.7 | 43.9 |
| +S（SPD-Conv） | 53.7 | 25.1 | 44.6 |
| +S+P（P2检测头） | 55.6 | 28.9 | 45.3 |
| +S+P+D（DCN+注意力） | 56.7 | 30.2 | 45.8 |
| +S+P+D+C（完整版） | 57.4 | 31.5 | 46.2 |
数字已经很直白了：对总精度的提升，P2检测头贡献最大，直接把小目标AP抬了3.8个点；SPD-Conv单独看增量不如P2，但它和P2搭配后收益不是简单相加，两者共同解决了“特征有没有”和“在哪层预测”两个问题。DCN加注意力模块、C2f改造的增量相对小，但它们是换算力平衡的杠杆，没有这两步，P2头和SPD吃进来的计算量会把模型整体拖慢，反而体现不了“高效”。
6. 复现要点与踩坑记录：想动手改模型的建议看完再上机
SPDC-YOLO的结构本身不复杂，真正耗时间的是训练和部署阶段的细节。这一节把我在复现过程中遇到的几个重要问题和解决方法列出来，都是文档里不会写的内容。
6.1 数据增强与切片策略
切片的正确打开方式是“先切大图，再训练切片图”，而不是直接整图缩放到1024。整图缩放会把小目标压到和噪声一样大，切图还能保留目标原始像素尺寸。切图时，我建议切片尺寸尽量和目标实际尺寸成比例，比如目标普遍在30到50像素，切片选1024，这样目标在切片里至少还能占到5%左右的面积。
切片重叠率不要低于15%，否则目标恰好落在边界时会被切掉一半，造成语义残缺。推理时也要做滑窗加重叠合并，所有窗口的预测框都映射回原图坐标，再做一次全局NMS，避免同一目标被两个窗口重复标框。这套流程几乎是航拍小目标检测的必选项，模型架构再强也绕不开数据组织方式的影响。
小目标复制粘贴增强非常有效，但要注意别把目标粘贴到和原位置高度相关的区域，比如所有行人复制品都出现在道路中央，模型会学会“用位置猜目标”而不是“用特征找目标”。我一般会随机选取空旷背景区域，同时限制每张图粘贴数量不超过5个，防止合成痕迹过重。
6.2 训练超参中的隐形陷阱
P2头对学习率非常敏感。第一次训练时我直接沿用YOLOv8默认的lr=0.01，结果前20个epoch loss迟迟不降，P2头几乎不收敛。后来把初始学习率降到0.005，并让P2支路使用独立的参数组、学习率设为骨干网络的0.5倍，训练立刻稳定了下来。原因其实不难理解：P2头接收的是低层级、高分辨率特征，梯度信号比深层P5头强很多，统一学习率会导致优化方向被深层主导。
标签分配也需要留意。动态标签分配器对小目标的IOU阈值默认并不完全合适，因为小目标的GT框本来就不准，IOU天然偏低。我给小目标样本做了一点额外处理：在计算对齐度时把分类得分权重调高、IOU权重调低，相当于优先保证“分类对的目标能被选为正样本”，这个操作让小目标召回又提升了一个多点。
epoch数量上，从小目标数据集的多轮实验来看，150到200个epoch之间是合理的，太少学不完特征，太多则开始过拟合到噪声上。EMA的衰减系数建议设到0.9999以上，EMA权重在部署端带来的精度稳定收益，在检测器上比在分类器上表现得更明显。
6.3 部署阶段的几个坑
重参数化折叠后的模型，必须用EMA权重而不是训练末尾的原始权重来做折叠。原始权重在训练后期震荡较大，折叠后某些层会出现明显的数值偏差，而EMA权重收敛更平滑。
导出ONNX时，如果发现某个节点报不支持，先不要急着换框架。可以先检查PyTorch版本和opset版本是否匹配，很多算子的兼容性问题通过固定opset=17或18就能解决。如果DCN实在转不过去，就按第4节说的降级路径来处理，用校准集对比精度，损失在可接受范围就直接上简化版。
最后强调一点：机载端实测的帧率一定以“包含预处理和后处理”的端到端时间为准，不能只看模型推理时间。航拍图做大图滑窗时，预处理本身可能占到总耗时的一半。如果端到端帧率不够，优先优化切片策略和NMS逻辑，不要一上来就换更小的模型。目标检测工程到了最后，瓶颈往往在数据管道而不在模型本身。
SPDC-YOLO的这套改进思路，本质上是在回答一个问题：无人机航拍小目标检测，算力有限，检测又要准，到底该把资源花在哪。我的答案是花在下采样保留信息上、花在浅层高分辨率特征上，花在能落地的算力平衡上。如果你也正在做类似的航拍检测任务，建议不要直接照搬任何结构，而是先用自己的数据复现一遍消融实验，看看到底哪个模块在你的场景里贡献最大。很多时候，真正帮你涨点的不是某个炫酷模块，而是你肯下功夫去分析数据特征和模型失败模式。
