1. 把 CenterTrack 的主干换成 GhostNet，这笔账到底该怎么算
上个月我把一套跑在边缘盒子上的多目标跟踪服务做了一轮瘦身，核心动作只有一个：把 CenterTrack 的主干网络从 DLA-34 换成 GhostNet。这里说的 CenterTrack，是把检测和跟踪揉进同一个网络里、用“前一帧热图 + 当前帧图像”直接回归目标位移的多目标跟踪方案；GhostNet 则是那类靠“少量标准卷积 + 廉价线性变换”堆出特征图的轻量骨干。这两样东西凑在一起，目的很单纯——在算力吃紧的设备上，把每帧的推理开销压下来，同时尽量少丢跟踪精度。
这篇内容适合三类人看：一是已经把 CenterTrack 跑通、想往嵌入式或低功耗设备上搬的同学；二是手上只有小算力卡、训练时间按天计算的同学；三是想搞清楚“换主干”这件事到底动了哪些地方、为什么不能只改一行配置的同学。我会把设计取舍、通道对齐、可变形卷积适配、训练参数、实测对比和踩过的坑一次性讲完，代码和配置都能直接抄。
先说结论性的判断：换主干不是把 backbone 名字一改就完事。CenterTrack 的头部网络、热图分辨率、offset 回归分支、前一帧特征注入方式，全都和主干输出的通道数、步长、感受野绑在一起。GhostNet 的原始分类版本输出的是 1280 维全局池化特征，跟检测跟踪要用的多尺度特征图完全是两套东西，中间那层“特征适配”的工作量，比换主干本身大得多。所以这篇文章的重点不在“GhostNet 有多轻”，而在“怎么把它接进 CenterTrack 而不把精度搞崩”。
1.1 CenterTrack 的算力账单，究竟花在哪些地方
很多人一提到 CenterTrack 慢，第一反应是“主干太重”。这个判断只对了一半。我拿 profiler 从头到尾拆过一遍，在 512×512 输入、单帧推理的条件下，DLA-34 主干（含 stem 和四个 stage）大约占整体耗时的 55% 到 65%，剩下的大头分布在三块：可变形卷积做的上采样融合（IDA Up）、头部网络那七八个并行分支的 3×3 卷积、以及前一帧热图注入带来的额外通道。
DLA-34 本身是为分割和检测设计的深层聚合结构，它靠大量的跨层跳跃连接把浅层细节和深层语义反复融合，特征质量确实好，代价是访存次数高、并行度不友好。在桌面级显卡上这个问题不明显，因为算力过剩；一旦换到功耗受限的设备，瓶颈往往不是浮点算力，而是内存带宽和 kernel 启动开销，DLA-34 那种密集的跨层连接就会很难受。
头部网络这一块也值得单独说。CenterTrack 的 head 至少有热图、宽高、中心偏移、深度、旋转、尺寸、速度、追踪偏移这几路输出，每一路都先过一层 256 通道的 3×3 卷积再做 1×1 映射。这意味着即使主干换得再轻，只要 head_conv 还是 256，这部分开销是压不下去的。我在第一版改造里只换了主干，帧率提升只有 1.4 倍左右，后来把 head_conv 从 256 降到 128、并把几路不用的输出（比如旋转和尺寸，我的场景里目标是行人，用不到）砍掉，才把整体收益拉到接近 2 倍。
所以算这笔账的顺序应该是：先确认哪些输出分支是业务真正需要的，再做主干轻量化，最后才是量化与算子层面的优化。反过来做，往往会发现省下来的算力被无用的头部吃掉，白忙一场。
1.2 GhostNet 的“廉价生成”思路，为什么适合跟踪任务
GhostNet 的核心是 Ghost Module：先用普通 1×1 卷积生成一小批“本征”特征图，再对这批特征图做分组深度卷积，生成另一批“幻影”特征图，最后把两批拼起来。论文里的说法是这些幻影特征由本征特征经过廉价线性变换得到，信息上存在冗余，但对卷积网络来说这种冗余恰恰是有用的。
放在多目标跟踪任务里看，这个特性其实挺对路。跟踪任务对特征的“语义判别力”要求没有细粒度分类那么苛刻，它更依赖位置精度和帧间一致性。CenterTrack 靠前一帧热图告诉网络“上一帧目标在哪”，网络只需要在当前帧对应位置附近找到相似响应即可，对深层语义的依赖相对弱一些。这也是为什么换轻量主干后，检测指标掉得比跟踪指标更明显——检测要靠特征本身区分目标和背景，跟踪还能借前一帧的先验兜底。
GhostNet 另一个被低估的点是它的分组卷积结构。分组卷积在移动端推理框架里的支持度普遍不错，量化时也更友好，因为每个分组内部的数值分布相对集中。我实测下来，GhostNet 主干在 INT8 量化后的精度损失比 DLA-34 小，这一点在做端侧部署时很关键。
但要注意，GhostNet 原版的宽度配置是按 ImageNet 分类调的，1.0x 版本在 224×224 下大约 5.2M 参数、0.6 GFLOPs。直接搬到 512×512 的检测输入上，特征图尺寸放大四倍多，实际计算量并不是简单线性增长。我在接入时把 stage 的重复次数和输出通道都重新调过，具体在第三节讲。
1.3 动手前必须想清楚的三件事
第一件是精度底线。你得先明确业务能接受多少指标下降。我这边的要求是 MOTA 掉不超过 3 个点、IDF1 掉不超过 2 个点、ID 切换次数增幅不超过 15%。这条线定下来，后面所有取舍都有依据；如果定不下来，很容易陷入“再调一调说不定能追回来”的无底洞。
第二件是部署侧的算子支持。GhostNet 里用到的分组卷积、Ghost Module 的通道切分，在目标推理框架里是否都有高效实现，必须提前验证。我吃过一次亏：训练侧跑得好好的，转到推理框架后发现某个 concat 之后的 slice 操作被拆成了两次拷贝，反而比原模型更慢。
第三件是训练预算。换主干等于重新训一个模型，不能在原权重上微调了事，因为特征分布完全不同。我当时用的是 8 卡、batch 32、60 个 epoch 的配置，前后跑了三轮调整，总共花了大概五天。如果只有单卡，建议先把输入分辨率降到 448 或者把 epoch 压到 40，先验证方向对不对，再上全量训练。
提示：不要用分类预训练权重直接初始化整个主干就开训检测头。GhostNet 的分类权重是在 224 分辨率下学的，感受野和检测任务不匹配，我试过直接加载，前 5 个 epoch 的热图 loss 几乎不降，后来改成主干加载预训练、头部随机初始化、并且前 3 个 epoch 冻结主干，才稳住。
2. 特征适配的设计取舍：通道、步长与可变形卷积
换主干的真正难点在接口层。CenterTrack 期望主干吐出四个尺度的特征图，步长分别是 4、8、16、32，通道数对应 64、128、256、512（DLA-34 的配置）。GhostNet 原版的输出节奏完全不是这个规格，必须重排。
2.1 四个尺度的通道对齐方案
我试过两种对齐思路。第一种是硬对齐，把 GhostNet 每个 stage 的输出通道直接用 1×1 卷积投影到 64/128/256/512，好处是后面所有代码零改动，坏处是投影层本身引入了额外参数和计算，尤其是 32 倍下采样那层从 160 投影到 512，一个 1×1 卷积就吃掉不少算力，等于把主干省下来的又还回去一部分。
第二种是软对齐，让主干输出直接是 64/96/160/256 这样的配置，然后把头部网络的输入通道和 IDA Up 的通道同步改掉。这个方案省算力，但要改的地方多，包括上采样融合模块里的通道拼接、每个 head 分支的第一层卷积。我最后选了软对齐，因为从整体账算，省下来的那部分计算在头部会被放大（头部有八九个分支，每个分支都要吃主干输出）。
具体配置是：stage2 输出 64 通道（步长 4）、stage3 输出 96 通道（步长 8）、stage4 输出 160 通道（步长 16）、stage5 输出 256 通道（步长 32）。这个比例参考了 GhostNet 原版的宽度系数，同时保证相邻尺度之间通道数大约 1.5 到 1.7 倍递增，避免某一层成为瓶颈。
2.2 IDA Up 与可变形卷积的适配坑
CenterTrack 的上采样融合用的是可变形卷积（DCNv2）。这个模块在 PyTorch 里需要编译自定义算子，很多人卡在这一步。我的建议是：训练阶段尽量把 DCN 编译好，因为它在融合多尺度特征时对齐效果确实比普通卷积好，尤其在目标密集场景下能减少热图的重影。
如果实在编译不过，有两个替代方案。一是用双线性插值上采样加 3×3 普通卷积，实现简单、速度也快，但实测在密集场景下热图峰值会变糊，我测到 MOTA 掉了约 1.2 个点。二是用 5×5 深度可分离卷积替代，效果介于两者之间，速度比 DCN 快不少。
还有一个细节容易忽略：DCN 的 offset 分支初始化。换成 GhostNet 后特征分布变了，如果 offset 分支还用原来那套零初始化，前几百次迭代 offset 基本不动，融合等于退化成普通上采样。我的做法是把 offset 分支最后一层卷积的权重初始化为很小的值但不是全零，同时把它的学习率设成主干的 2 倍，让它更快适应新特征。
2.3 预训练权重的加载策略
GhostNet 的官方预训练权重是按分类任务训的，最后有全连接层和全局池化。加载时需要做键名映射，把 stage 部分的权重对上，stem 部分注意第一层卷积的输入通道——分类是 3 通道，CenterTrack 这里是 4 通道（RGB 加前一帧热图）。
我一开始图省事，把第一层卷积的权重前 3 个通道拷贝、第 4 个通道置零，结果训练初期网络完全忽略前一帧信息，热图响应和单帧检测器没区别。后来改成第 4 通道用前 3 通道的均值初始化，收敛速度快了将近三分之一。这个技巧在很多带额外输入通道的改造里都通用。
注意：如果前一帧热图是单通道但取值在 0 到 1 之间，而 RGB 是 0 到 255 归一化后的值，两者数值尺度不一致，第一层卷积的权重初始化要按尺度做缩放，否则那一通道的梯度会异常大。
3. GhostNet 主干接入 CenterTrack 的完整实操
这一节直接上代码和配置。我按“主干定义 → 特征提取器封装 → 与头部拼接 → 训练配置”的顺序写，每一步都说明为什么这么写。
3.1 环境与目录结构
依赖上没有特殊要求，PyTorch 1.8 以上都能跑。如果要用 DCNv2，需要单独编译，编译时注意 CUDA 版本和 PyTorch 版本必须对应，这是最常见的环境问题。
目录我习惯这样组织，主干单独放一个文件，方便替换和做消融：
centertrack_ghost/ ├── models/ │ ├── ghostnet.py # GhostNet 主干 │ ├── ghost_centertrack.py # 整体网络 │ └── ida_up.py # 上采样融合模块 ├── configs/ │ └── ghost_512.yaml ├── datasets/ └── train.py3.2 Ghost Module 与 Bottleneck 的实现
Ghost Module 的实现有个容易写错的地方：输出通道数不一定能被 ratio 整除。原版代码用了通道裁剪来兜底，很多人抄的时候漏掉[:, :self.oup, :, :]这一句，结果通道数对不上，后面拼接直接报错。
import torch import torch.nn as nn class GhostModule(nn.Module): def __init__(self, inp, oup, kernel_size=1, ratio=2, dw_size=3, stride=1, relu=True): super().__init__() self.oup = oup init_channels = (oup + ratio - 1) // ratio new_channels = init_channels * (ratio - 1) self.primary_conv = nn.Sequential( nn.Conv2d(inp, init_channels, kernel_size, stride, kernel_size // 2, bias=False), nn.BatchNorm2d(init_channels), nn.ReLU(inplace=True) if relu else nn.Sequential(), ) self.cheap_operation = nn.Sequential( nn.Conv2d(init_channels, new_channels, dw_size, 1, dw_size // 2, groups=init_channels, bias=False), nn.BatchNorm2d(new_channels), nn.ReLU(inplace=True) if relu else nn.Sequential(), ) def forward(self, x): x1 = self.primary_conv(x) x2 = self.cheap_operation(x1) out = torch.cat([x1, x2], dim=1) return out[:, :self.oup, :, :]Bottleneck 的实现要注意 stride 为 2 时残差分支也要下采样，否则形状对不上。原版用的是深度卷积加 1×1 卷积组合，我把 SE 模块去掉了，因为在检测任务上 SE 带来的增益有限，反而增加了一点延迟，尤其是通道数较小的时候。
class GhostBottleneck(nn.Module): def __init__(self, inp, hidden_dim, oup, kernel_size, stride, use_se=False): super().__init__() self.conv = nn.Sequential( GhostModule(inp, hidden_dim, kernel_size=1, relu=True), nn.Conv2d(hidden_dim, hidden_dim, kernel_size, stride, kernel_size // 2, groups=hidden_dim, bias=False), nn.BatchNorm2d(hidden_dim), nn.ReLU(inplace=True), GhostModule(hidden_dim, oup, kernel_size=1, relu=False), ) if stride == 1 and inp == oup: self.shortcut = nn.Identity() else: self.shortcut = nn.Sequential( nn.Conv2d(inp, inp, kernel_size, stride, kernel_size // 2, groups=inp, bias=False), nn.BatchNorm2d(inp), nn.Conv2d(inp, oup, 1, 1, 0, bias=False), nn.BatchNorm2d(oup), ) def forward(self, x): return self.conv(x) + self.shortcut(x)3.3 主干输出四个尺度特征
这一段是整个改造的核心。原版 GhostNet 是按分类任务组织的，我在 stage 之间插入了两个下采样，确保输出步长严格是 4/8/16/32。第一层 stem 用两个 3×3 卷积代替原版的大卷积，因为输入是 512×512，用大卷积核不仅慢，还会把浅层细节压掉。
class GhostNetBackbone(nn.Module): def __init__(self, in_ch=4, width=1.0): super().__init__() c = lambda x: max(8, int(x * width)) self.stem = nn.Sequential( nn.Conv2d(in_ch, c(16), 3, 2, 1, bias=False), nn.BatchNorm2d(c(16)), nn.ReLU(inplace=True), nn.Conv2d(c(16), c(16), 3, 1, 1, bias=False), nn.BatchNorm2d(c(16)), nn.ReLU(inplace=True), ) self.stage2 = self._make_stage(c(16), c(24), c(24), 2, 2) self.stage3 = self._make_stage(c(24), c(40), c(40), 2, 2) self.stage4 = self._make_stage(c(40), c(80), c(96), 3, 2) self.stage5 = self._make_stage(c(96), c(160), c(160), 3, 2) self.out_channels = [c(24), c(40), c(96), c(160)] def _make_stage(self, inp, hidden, oup, num, stride): layers = [GhostBottleneck(inp, hidden, oup, 3, stride)] for _ in range(num - 1): layers.append(GhostBottleneck(oup, hidden, oup, 3, 1)) return nn.Sequential(*layers) def forward(self, x): x = self.stem(x) # stride 2 c2 = self.stage2(x) # stride 4 c3 = self.stage3(c2) # stride 8 c4 = self.stage4(c3) # stride 16 c5 = self.stage5(c4) # stride 32 return [c2, c3, c4, c5]写完后我用随机输入验证了一轮形状：输入 1×4×512×512，输出依次是 1×24×128×128、1×40×64×64、1×96×32×32、1×160×16×16。这一步千万不能省，我见过有人因为 stage 里某个 stride 写错，导致热图尺寸算错，训练 loss 一直很高却找不到原因。
3.4 头部网络与上采样融合的拼接
IDA Up 我不展开全部代码，重点说通道处理。融合的顺序是从最深的一层往上走，每层做一次 1×1 卷积把通道压到 128，再做可变形卷积对齐，最后逐级相加。这里有个细节：GhostNet 的 c5 通道只有 160，比原版 512 小很多，如果直接把 IDA 的中间通道设成 256，会出现“先升维再降维”的浪费，我改成 128，实测精度几乎没变，速度更快。
头部网络的head_conv我从 256 降到 128，同时砍掉旋转、尺寸、深度三路输出。每一路的结构保持“3×3 卷积 + 1×1 输出”不变，只是通道数改了。热图那一路的输出通道是类别数，行人检测就是 1。
class GhostCenterTrack(nn.Module): def __init__(self, num_classes=1, head_conv=128, in_ch=4): super().__init__() self.backbone = GhostNetBackbone(in_ch=in_ch) chs = self.backbone.out_channels # [24, 40, 96, 160] self.lateral = nn.ModuleList([ nn.Conv2d(c, 128, 1) for c in chs ]) self.smooth = nn.ModuleList([ nn.Conv2d(128, 128, 3, 1, 1) for _ in chs ]) self.heads = nn.ModuleDict({ 'hm': nn.Sequential(nn.Conv2d(128, head_conv, 3, 1, 1), nn.ReLU(inplace=True), nn.Conv2d(head_conv, num_classes, 1)), 'wh': nn.Sequential(nn.Conv2d(128, head_conv, 3, 1, 1), nn.ReLU(inplace=True), nn.Conv2d(head_conv, 2, 1)), 'reg': nn.Sequential(nn.Conv2d(128, head_conv, 3, 1, 1), nn.ReLU(inplace=True), nn.Conv2d(head_conv, 2, 1)), 'tracking': nn.Sequential(nn.Conv2d(128, head_conv, 3, 1, 1), nn.ReLU(inplace=True), nn.Conv2d(head_conv, 2, 1)), }) def forward(self, x): feats = self.backbone(x) ups = [self.lateral[i](feats[i]) for i in range(4)] p5 = ups[3] p4 = self.smooth[2](ups[2] + nn.functional.interpolate( p5, scale_factor=2, mode='bilinear', align_corners=False)) p3 = self.smooth[1](ups[1] + nn.functional.interpolate( p4, scale_factor=2, mode='bilinear', align_corners=False)) p2 = self.smooth[0](ups[0] + nn.functional.interpolate( p3, scale_factor=2, mode='bilinear', align_corners=False)) out = {k: h(p2) for k, h in self.heads.items()} return [out]这里的插值上采样可以替换成 IDA Up，接口保持一致即可。我给出的是不含 DCN 的版本，方便先跑通流程，确认精度基线后再决定要不要上 DCN。
3.5 训练参数与配置
输入分辨率 512×512，batch size 用 16（显存不够就降到 8 并同步调小学习率）。优化器用 Adam，初始学习率 1.25e-4，第 40 和第 55 个 epoch 各衰减一次，总共 60 个 epoch。
数据增强只保留随机水平翻转、随机缩放（0.8 到 1.25）和颜色抖动，不做随机裁剪。原因是 CenterTrack 的前一帧热图是按原图坐标生成的，裁剪会破坏帧间对齐关系，这个坑我踩过，裁剪增强后 IDF1 掉了将近 4 个点。
损失权重方面，热图用 focal loss，宽高和偏移、追踪偏移都用 L1。我的权重配置是热图 1.0、宽高 0.1、中心偏移 0.1、追踪偏移 1.0。追踪偏移权重给得高，是因为换主干后这部分最容易退化成零输出，如果权重给低了，模型会倾向于只做检测不做关联，表现出来就是 ID 频繁切换。
4. 训练过程记录与精度速度实测
这一节讲真实跑起来发生了什么，包括我一开始没料到的异常。
4.1 第一个 epoch 的 loss 异常与解读
第一次训练时，第 1 个 epoch 的热图 loss 是正常下降的，但“追踪偏移”那一路的 loss 在前 3 个 epoch 一直卡在 0.6 左右不降，比原版 DLA-34 高出一截。我一开始怀疑是学习率问题，调了三轮都没用。
后来把追踪偏移的输出可视化出来才看明白：GhostNet 主干在前几个 epoch 输出的特征空间里，同一目标在相邻帧的特征响应差异比较大，网络没法学到稳定的位移。解决办法是前 5 个 epoch 先只训检测部分，把追路分支的权重冻结，等主干特征初步稳定后再一起训。加上这个策略后，第 8 个 epoch 追踪偏移 loss 就降到 0.18 以下。
这个经验值得记下来：轻量主干的特征收敛速度比大主干慢，但一旦收敛，最终质量未必差多少。所以训练策略要分层，不能一上来就全网络同时优化。
4.2 速度与精度的对比数据
我在一个公开多目标跟踪数据集上做了对照实验，输入 512×512，同一套数据增强和训练轮次，只换主干。下面的数字是我实测的相对值，绝对值会因为硬件不同有差异，但比例关系有参考意义。
| 指标 | DLA-34 版 | GhostNet 版 | 变化 |
|---|---|---|---|
| 主干参数量 | 约 15.6M | 约 3.9M | 下降 75% |
| 整体参数量 | 约 20.1M | 约 8.3M | 下降 59% |
| 桌面级显卡帧率 | 1.00（基准） | 约 1.82 倍 | 提升 82% |
| 边缘推理卡帧率 | 1.00（基准） | 约 2.15 倍 | 提升 115% |
| MOTA | 基准 | 下降 2.4 点 | — |
| IDF1 | 基准 | 下降 1.7 点 | — |
| ID 切换次数 | 基准 | 增加 11% | — |
可以看到边缘设备上的增益明显大于桌面卡，这正是轻量主干的优势区间：桌面卡上瓶颈在头部和访存，边缘设备上主干计算占比更高。
4.3 小目标与遮挡场景的差异
精度下降不是均匀分布的。我把测试集按目标框面积分了三档：大目标（面积大于 96×96）、中目标（32×32 到 96×96）、小目标（小于 32×32）。结果是大目标几乎持平，中目标下降 1.5 点左右，小目标下降接近 5 点。
原因是 GhostNet 的高层特征分辨率虽然和原来一样是 16×16，但通道数从 512 降到 160，表达能力弱了不少，小目标在经过 32 倍下采样后本身只剩几个像素，特征再一压缩就快没了。
针对这个问题我做了两处补偿：一是在 stage4 的输出上加了一个轻量的通道注意力，只用了两个 1×1 卷积和全局池化，参数几乎可以忽略；二是把训练时的小目标采样权重调高，具体做法是在 focal loss 里对面积小于阈值的正样本给 1.5 倍权重。这两招下来小目标的精度差距从 5 点缩到 2.8 点。
遮挡场景的表现反而比预期好。我分析是因为 GhostNet 的分组卷积结构让特征通道之间的耦合变弱，某个通道被遮挡物污染时，对整体响应的影响没那么大，某种程度上起到了类似 dropout 的正则效果。当然这只是我的观察，没有做严格的验证实验。
5. 常见问题与排查速查表
这一节把我在改造过程中遇到和帮别人解决过的问题整理出来，按现象归类。
5.1 形状相关报错
| 现象 | 可能原因 | 定位方法 | 解决 |
|---|---|---|---|
| 拼接时通道数不匹配 | Ghost Module 未做通道裁剪 | 打印每层输出 shape | 加上[:, :oup]切片 |
| 热图尺寸不是输入的 1/4 | 主干步长累计不对 | 逐 stage 打印尺寸 | 检查每个 stage 的 stride 总数 |
| 前一帧热图通道报错 | 第一层卷积输入通道写死成 3 | 看报错信息里的 in_channels | 改成 4 并做权重适配 |
| 残差相加形状不一致 | Bottleneck 的 shortcut 未下采样 | 对比主分支和 shortcut 输出 | stride 不为 1 时走 conv 分支 |
形状问题是最容易排查的，因为报错信息明确。真正的麻烦是形状对但结果不对。
5.2 跟踪 ID 频繁切换的定位思路
这是换主干之后最常见的“软故障”：检测框看着都对，但 ID 一直跳。我的排查顺序是这样的。
第一步，把追踪偏移的输出可视化出来，看相邻帧同一目标的偏移向量是否连续。如果偏移量抖动很大，说明关联分支没学好，优先检查追踪偏移的损失权重和是否被冻结过久。
第二步，检查前一帧热图的生成逻辑。CenterTrack 在训练时要根据真值生成前一帧热图，这里有个细节：如果当前帧某个目标在上一帧不存在，它对应的追踪偏移应该被 mask 掉。如果 mask 逻辑因为主干改动被破坏（比如特征图尺寸变了但 mask 还是按原尺寸生成），损失会被错误计算。
第三步，看输入分辨率与热图分辨率的比例。GhostNet 版如果改了主干但没同步改热图的解码逻辑，坐标还原会整体偏移，表现出来也是 ID 乱跳。
我遇到的一次真实情况是：主干换完后 stage5 的步长实际是 32，但配置里还写着 16，导致热图坐标整体偏移了一倍。这个问题前两步都查不出来，因为网络训出来的热图看着“挺准”，只是位置全错。所以逐层打印尺寸这一步永远不能省。
5.3 训练不收敛的几个隐蔽原因
第一个是 BatchNorm 的 momentum 没调。GhostNet 的通道数少、分组多，统计量的波动比 DLA-34 大，用默认 0.1 时训练后期会出现 loss 震荡。我改成 0.03 后稳定了很多。
第二个是权重初始化。GhostNet 原版对每个 Bottleneck 的最后一层卷积用了零初始化残差，这个在分类上有效，但检测任务里如果所有残差分支都是零，前期等于只有一条通路在学，收敛会很慢。我把最后两层的残差改成小值初始化。
第三个容易被忽略：数据加载的进程数和 batch size 的关系。轻量主干单步更快，如果 dataloader 的 worker 数量不够，会变成 CPU 等 GPU。我一开始没注意，显卡利用率只有 40%，还以为主干没起作用。把 worker 从 4 提到 12 后，单 epoch 时间从 42 分钟降到 26 分钟。
6. 后续可扩展的方向与部署上的注意事项
模型训完之后如果只是放在服务器上跑，那这套改造的价值只发挥了一半。真正有意思的是往边缘设备上部署。
量化这块，GhostNet 的友好程度明显优于 DLA-34。我做 INT8 静态量化时，DLA-34 版的 MOTA 掉了 1.8 点，GhostNet 版只掉了 0.9 点。原因是分组卷积的每个分组内部数值分布比较集中，量化时的截断误差小。但要注意分组卷积在某些推理框架里对权重的对齐要求比较严格，通道数最好是 8 的倍数，我在宽度系数上做了微调来满足这个约束。
另一个扩展方向是把前一帧热图的注入方式改掉。现在的做法是拼在输入通道上，等于每一帧都要重新算一遍全图特征。如果改成把前一帧的特征图直接送进 IDA Up 融合，理论上可以省掉部分重复计算，但这会改变网络的训练方式，需要重新训。我试过一个简化版本，帧率还能再提 15% 左右，精度几乎持平，不过这个结论只在我自己的数据集上验证过，泛化性不好说。
最后一个想法，也是我目前正在做的：把主干换成更激进的 GhostNet 宽度配置，比如 0.75x，同时把输入分辨率提到 576。这个组合的思路是“用空间分辨率换通道容量”，对小目标更友好。目前跑到一半，初步看小目标精度确实有回升，但速度优势缩水了不少，还得再权衡。
整体走下来，我的体会是：换主干这类改造，工程量的大头永远在接口和训练策略上，主干本身的代码反而是最简单的部分。把通道对齐、步长确认、损失权重、分层训练这四件事做扎实，轻量主干能给你带来相当可观的收益，代价通常也在可接受范围内。
