做目标检测的朋友应该都有这种体会：今天模型把新一类物体学得不错，明天接着学另外几类，回头一测，之前能检出来的类全凉了。旧类别AP掉到一半以下是非常常见的事，甚至训练过程中不专门看旧类指标，你根本察觉不到灾难性遗忘已经发生了。增量目标检测要解决的就是这个问题：让检测器在不停新增类别的同时，记住已经学过的类别。今天要聊的这篇论文，方法名很直白，叫 Gradient Decomposition and Alignment，也就是“梯度分解与对齐”。它没有依赖大量旧数据回放，也没有把全部希望寄托在蒸馏损失上，而是从梯度更新的底层逻辑入手，把每一步反向传播算出来的梯度拆开，再决定哪些该保留、哪些该修正。这篇内容适合正在做增量学习、检测落地或者被遗忘问题折磨的算法工程师，也适合对目标检测有一定基础、但还不太理解“为什么微调会忘”的同学。我会把方法原理、关键实现、复现踩坑都讲清楚。
1. 增量目标检测到底难在哪
1.1 从“会背新单词”说起
用一个生活化的类比开头。一个学生先背熟了一本旧单词书，再给他一本新单词书，如果他为了记住新词，把旧书直接扔掉，考试就只考新旧两本单词书的所有内容，结果通常很惨：新词记住了，旧词忘掉大半。更糟糕的是，如果新旧书里某些词长得相似，他还会把新词的意思套到旧词上，出现“混淆”。
增量目标检测就是这个场景。第一阶段的模型已经学会了若干类别，第二阶段来了新类别标注数据，这些数据里一般没有旧类别的框。如果不做保护，只拿新类别数据继续训练，网络会为了降低新类别损失，把特征空间重新分配。旧类别的特征响应被挤压、被覆盖，甚至被重新解释成新类别。在目标检测里，这种遗忘不止发生在分类头上，还发生在定位头、候选区域生成网络上。
1.2 目标检测的特殊难题：分类、定位、背景
分类任务里的增量学习，只需要关心“这张图属于哪个类”。目标检测不一样，一个模型要同时做三件事：找出图中可能含有物体的区域、判断区域里的物体类别、回归出物体的边界框。这三件事耦合在一起，遗忘就会被放大。
候选区域生成网络如果忘记了旧类别，模型可能一开始就没有为旧类物体生成候选框，后续分类和回归做得再好也没用。分类头如果被新类别带偏，就会把旧类别物体判成背景，或者判成某个新类别。回归头同样会受影响，新旧类别物体在尺度、长宽比上如果差异明显，模型为了适配新类别，很可能改变共享特征对形状的编码方式，旧框定位变差。
还有一个检测特有的坑：新阶段训练数据里，旧类别的物体可能没有被标注。模型看到“一个本该成为前景的物体”却被当作背景，梯度会直接告诉它“这东西不是物体”。这种由标注缺失带来的背景偏差，比单纯的新类别分类任务更难处理。很多做增量分类的方法搬到检测上效果打折扣，原因就在这。
1.3 这篇论文的思路一句话概览
这篇论文没有去设计花哨的网络结构，也没有引入特别庞大的记忆缓冲区，核心就一句话：计算新任务梯度时，先把梯度分解成“对旧任务有潜在危害的分量”和“对旧任务相对安全的分量”，然后通过对齐操作把有害分量修正掉，再用修正后的梯度更新参数。
听起来很像“梯度投影法”，实际上它也确实属于这一类。但它针对目标检测做了两件事：一是把检测头的分类梯度和回归梯度拆开看，而不是笼统地处理一个总梯度；二是通过旧模型和少量旧类信息估计旧任务梯度子空间，把新任务梯度投影到对旧任务安全的方向上。下面展开讲。
2. 梯度分解与对齐的核心思路
2.1 为什么会遗忘：梯度方向在“打架”
神经网络训练的本质是参数沿着损失函数下降最快的方向移动。每个任务的损失函数在参数空间里都有自己偏爱的一组方向。旧任务想让参数往下走的方向，和新任务想让参数往下走的方向，往往不是同一条路。
当你用新数据微调模型时，你计算的是新任务的梯度。你沿着这个梯度更新参数，每一大步都在降低新任务损失，但很可能同时抬高旧任务损失。这不是玄学，而是高维参数空间里不同任务梯度方向不兼容的必然结果。旧任务梯度方向与新任务梯度方向夹角大于90度时，走了这一步，旧任务就往上爬一步。累积下来，旧类别AP就崩了。
所以增量学习的一种核心思路，不是找一组能同时满足所有任务的完美参数，而是在每次更新前检查：当前梯度里，有没有和新任务强相关、却和旧任务方向冲突的成分？如果有，就别让参数完全沿着这个成分走。
2.2 梯度分解：把一份梯度拆成两股
理想情况下，我们希望把当前梯度分解成两部分：
- 与旧任务梯度子空间冲突的分量，这部分会伤害旧任务，需要抑制或去除。
- 与旧任务梯度子空间正交的分量，这部分对新任务有用，但至少在局部不会让旧任务损失上升，可以保留。
怎么得到旧任务梯度子空间？最简单的设想是准备一些旧样本，算一遍旧任务的梯度。但增量学习往往没有旧数据，或者只有极少量的保留样本。论文的替代方案是用冻结的旧模型作为参考：让当前模型和旧模型同时处理一批新数据，从旧模型的输出中提取旧类相关的响应信息，借此估计旧任务在当前参数附近的梯度方向。
这里要强调一个关键点：旧模型本身不是理论上的“旧任务梯度”，它只是旧知识的一种快照。用它生成伪标签、计算蒸馏损失、再反向传播得到的方向，可以近似代表旧任务希望参数移动的方向。精度肯定不如真旧样本，但已经足够用来区分“方向是否冲突”。
2.3 对齐：只保留对旧任务无害的分量
拿到旧梯度子空间之后，常规做法是构造一个投影矩阵，把新任务梯度中落在旧子空间上的分量减掉。
举个直观例子。参数平面里，旧任务希望参数往“东”走，新任务希望参数往“北偏东”走。如果完全按新任务走，旧任务马上变差。如果只取新任务梯度里与旧任务正交的“北向分量”，参数就既能在新任务上取得进展，又不会在“东向”上拆旧任务的台。这就是把梯度投影到旧梯度子空间的正交补空间上。
但论文里不仅是简单削掉，还做了一个“对齐”的动作。原因是旧子空间上的分量未必都是有害的。有些分量虽然落在旧子空间附近，但方向其实和旧任务下降方向一致，属于“顺路”的梯度，对旧任务甚至是有利的。如果一并抹掉，新任务学习会变慢，旧任务也失去了被巩固的机会。所以对齐要做的是判断夹角：方向一致的梯度分量保留甚至放大，方向冲突的梯度分量减去或翻转修正。
这个设计思路很实际。它把“保护旧任务”从一刀切变成了精细化操作：不是所有旧方向都要防，防的是反向碰撞。
2.4 和传统蒸馏、回放的区别
蒸馏方法的思路是让当前模型在新数据上训练时，输出不要偏离旧模型太多。它对分类任务很有效，因为类别概率分布里包含了旧模型的知识。但在检测里，蒸馏对象更多、更碎：要蒸分类置信度、蒸边界框回归分布、甚至蒸候选区域响应。哪一项蒸不好，都可能让旧类“假死”。
回放方法更简单粗暴，直接把旧样本存一些，每次训练混进去。效果通常很好，但问题在于数据隐私、存储成本、样本分布失配。如果任务不允许保留旧数据，回放就用不了。
梯度层面的方法不需要显式保存旧样本，它只维护一个旧梯度子空间的近似表示。与蒸馏相比，它没有额外增加很多复杂的蒸馏损失；与回放相比，它不需要在训练时反复过旧数据。所以它在“无旧数据”的约束下尤其有吸引力。实践中它也完全可以和少量回放、蒸馏搭配使用，作为上限增强器。
3. 算法流程与关键实现细节
3.1 核心训练流程长什么样
我理解这篇论文的训练流程可以简化为下面几步。先说明，这是基于常见梯度投影增量学习框架的复现式理解，具体版本可能有些小差异。
# 伪代码：梯度对齐更新框架 for batch in new_task_loader: images, targets = batch # 1. 计算当前模型的新任务损失 loss_new = model.compute_loss(images, targets) # 2. 用冻结的旧模型对同一批数据做前向 with torch.no_grad(): old_outputs = old_model(images) # 3. 构建旧任务参考损失（伪标签/蒸馏/少量旧类特征均可） loss_ref = compute_old_reference_loss(old_outputs, current_outputs) # 4. 分别反传，得到梯度 new_grad = get_gradient(loss_new) old_ref_grad = get_gradient(loss_ref) # 5. 由 old_ref_grad 构造旧任务梯度子空间 basis = extract_old_gradient_subspace(old_ref_grad) # 6. 对齐新任务梯度 new_grad_aligned = align_gradient(new_grad, basis) # 7. 用修正后的梯度更新参数 optimizer.apply_gradient(new_grad_aligned)实际处理时，不会把整个模型的全部梯度拼成一个巨型向量做SVD。因为现代检测网络参数动辄几千万甚至上亿，全量拼接的矩阵太大。常见的做法是分模块、分层处理，比如对骨干网络的每个卷积层单独维护旧的梯度方向，对检测头的分类分支和回归分支分开估计子空间。
3.2 旧任务梯度子空间怎么估计
这是整个方法最容易出错的地方。论文里通常有一个前提：旧模型是冻结的、能力相对稳定的模型。我们想知道的不是旧模型本身的梯度，而是“当前模型如果继续在旧任务方向上走，应该走哪条路”。
一种可用方案是：
- 让当前模型和冻结旧模型同时处理同一批新图像。
- 用旧模型的检测输出去挑选“和旧类语义相关的特征响应”，比如旧模型对某些候选区域给出较高置信度的位置。
- 在这些区域上构造一个代理旧损失，比如让当前模型在这些区域上的特征分布接近旧模型，或者让当前模型的分类输出不偏离旧模型的旧类置信度。
- 对这个代理损失求梯度，得到当前参数空间里的“旧任务梯度方向”。
这个方向不是真实旧数据上的精确梯度，但只要旧模型在旧类上还有一定的判别能力，它就能捕捉到旧任务希望参数避免的方向。实际操作中，如果存在少量旧类别样本，哪怕每类只有几张，也可以把它们加入子空间估计，效果会明显更稳。
我在复现时试过两种方式：一是直接用蒸馏损失反传当作旧梯度方向，二是用少量旧样本的真实分类损失反传。前者方向噪声大一些，但胜在不用旧样本；后者方向更准，但需要一小批旧类数据。论文方法本身对旧样本数量要求不高，几类各留十张左右就能取得可观效果。
3.3 梯度投影和对齐的计算方式
假设某一层参数的梯度向量为 g_new，旧任务梯度子空间用一组正交基 U 表示，U 的列向量张成了旧梯度子空间。那么投影矩阵就是 U U^T。对齐后的梯度可以写成：
g_aligned = g_new - α × U U^T g_new
其中 α 是投影强度。α 为1时，等于完全删除新梯度中落在旧子空间上的分量；α 小于1时，只做部分削弱；α 大于1时，相当于反向修正冲突分量。
看起来只是一行矩阵乘法，但工程上有几个细节：
- 如果对每层单独做，需要把权重张量展平成向量。卷积核是四维张量，展开后维度可能很大，不过每层单独算，SVD还可以承受。
- 如果网络太大，可以减少处理的层数。重点处理分类头、回归头和骨干网络最后几层，前面的浅层卷积主要学习通用边缘纹理特征，跨任务共享程度高，不作为重点。
- 梯度尺度问题。SVD对梯度数值尺度敏感，不同层的梯度量级可能差好几个数量级。最好在构造子空间前对旧梯度做标准化，否则某些大梯度层会主导投影方向。
代码层面的要点如下：
def align_layer_gradient(grad, old_grad, rank=8): """ grad: 当前层梯度, 形状任意, 先展平 old_grad: 当前层旧任务参考梯度, 形状任意, 先展平 """ grad = grad.view(-1) old_grad = old_grad.view(-1) # 标准化 old_norm = old_grad.norm() + 1e-8 old_grad_norm = old_grad / old_norm # 用旧梯度的前几个主方向构造子空间（这里简化成单个方向） # 更稳的做法是保存多个历史梯度的矩阵，再做 SVD direction = old_grad_norm.unsqueeze(-1) projection = direction @ direction.T aligned = grad - projection @ grad return aligned.view_as(grad)上面只是一个方向的简化版。真实实现里，最好维护多个历史梯度向量，把它们拼接成一个矩阵 G_old，然后做奇异值分解，取前 k 个左奇异向量作为 U，这样能覆盖旧任务梯度空间的主要变化方向，而不是只依赖当前batch的一条方向。
3.4 超参数：哪些值得重点关注
这类方法最核心的超参数有三个：子空间秩 k、投影强度 α、以及旧梯度参考损失的权重。
子空间秩 k 影响的是“保护范围”。k 太小，保护不到位；k 太大，会把新任务梯度里本该保留的成分也削掉，导致新类别学到很慢。我的经验是先给一个中等值，比如特征维度的四分之一，再观察旧类别遗忘曲线。如果旧AP还是掉得厉害，适当增大 k；如果新类别AP明显低于正常微调，减小 k。
投影强度 α 比较直觉：0 等于不做保护，1 等于完全投影去除。多数时候 α 在0.5到1.0之间效果最好。低于0.5，保护效果不太明显；但有些场景里旧子空间估计不准，α 超过1反而引入噪声，不如用0.7这种偏柔和的值。
旧梯度参考损失的权重影响子空间质量。权重太小，旧模型信息得不到充分表达；权重太大，梯度会主导梯度方向，令子空间远离真实旧任务方向，也不合适。在实际工程里，可以先做一次小规模消融，把新旧AP的差值和平均AP画一条曲线，一般能找到一个两头都不差的稳定区间。
4. 我复现时踩过的坑和排查方法
4.1 梯度算出来全是 NaN
这个问题出现在刚把SVD投影引入训练的时候。原因是构造旧梯度矩阵时，某个旧梯度向量可能是全零或接近全零，标准化时除了一个很小的数，结果无穷大，把梯度全部污染了。
排查方法很简单：在标准化之前检查梯度范数，小于某个阈值就跳过该层。另外，SVD之前先把梯度矩阵做去均值，不然主方向会被整体偏移主导。叠加归一化之后，训练稳定度高非常多。
4.2 模型不涨，旧AP掉得更快
第一次复现时可能出现“新类别AP低于普通微调、旧类别也没保住”的情况。这通常说明旧子空间估计错了方向，投影把该留的梯度删了，把该删的梯度留下了。
我当时的解决办法是：先用少量真实旧样本替代代理损失来估计旧梯度子空间，看效果是否恢复。如果恢复，说明代理损失不够好；如果还是不涨，问题就在对齐逻辑。再进一步，把投影强度 α 调小到0.5，对比一下新类AP曲线，就能区分是保护过度还是保护错位。
4.3 新类别一出现，旧类别置信度暴涨
检测模型里有一个奇怪现象：新类别加入后，模型可能把旧类别物体也预测成新类别，而且置信度很高。如果只看某些新类别AP，可能感觉效果不错，但平均旧AP已经崩了。
这个问题不完全是梯度对齐能单独解决的，还需要在标签分配层面留意。新阶段数据里旧类物体未标注，模型会把它们当成背景，梯度对齐可以削弱背景梯度对旧类特征的压制，但无法改变“没有旧类标签可用”的信息缺失。如果业务允许，保留少量旧类标注数据做联合训练，是成本最低也最有效的补救。
4.4 显存和耗时开销比想象中高
梯度对齐不像想象中那样“零成本”。每次训练不仅要算新任务损失，还要用旧模型做前向、再反传一次拿旧参考梯度，时间基本翻倍。显存压力也来自旧模型前向的计算图和参考损失的保留梯度。
工程优化上有几个方向：
- 旧模型前向可以使用更轻量的推理模式，比如关闭部分增强、降低输入分辨率。
- 只对骨干网络最后若干层和检测头计算旧参考梯度，前面层不参与。
- 每隔多个batch更新一次旧子空间，而不是每个batch都重建SVD。
我用这些手段把额外开销压到了30%以内，效果损失很小。
4.5 参数速查表
| 参数 | 常见范围 | 影响方向 | 我的经验 |
|---|---|---|---|
| 子空间秩 k | 特征维度的1/4到1/2 | k大保护强但新任务学习慢 | 先取小值，看旧AP再调 |
| 投影强度 α | 0.5 ~ 1.0 | α大保护强、可能抑制新任务 | 0.7左右是稳妥起点 |
| 旧参考损失权重 | 0.1 ~ 1.0 | 影响旧梯度子空间质量 | 用少量旧样本时取小值即可 |
| 学习率 | 骨干0.1倍新头 | 防止骨干剧烈漂移 | 新头照常，骨干降低 |
| 对齐层范围 | 骨干后段+检测头 | 范围太大噪声多 | 不要全模型一刀切 |
5. 实验指标怎么读、结果怎么判断
5.1 只看最终 mAP 不够
增量检测的论文里，最容易误导人的指标是最终平均AP。因为它把多个阶段的新旧类别混合在一起，阶段数量少的时候，新类别涨一点就能掩盖旧类别掉一截。我建议至少看三件事：
- 旧类别平均AP相对上一阶段的保留率。
- 新类别AP相对“从零开始单独训练新类”的上限差距。
- 所有阶段的平均AP曲线，而不是只看最后一个点。
遗忘率可以简单定义成“上一阶段旧类AP减去本阶段旧类AP”，除以“上一阶段旧类AP”。这个值越接近0越好，如果出现负数，说明旧类别反而被巩固了，这并不奇怪，因为对齐操作可能保留并利用了与旧任务顺路的梯度分量。
5.2 长期增量阶段的表现
很多方法在“两个阶段增量”上表现很好，但一旦分十个阶段、几十个类，错误会被反复累积。旧梯度子空间如果只在每阶段结束时更新一次，阶段越多，子空间越旧，保护能力越差。
我的经验是：每进入一个新阶段时，用旧模型重新收集一批代理梯度，叠加到历史梯度矩阵里，并做一次主方向更新。这相当于持续维护一个“旧知识方向的实时地图”。如果历史梯度矩阵越来越臃肿，就用加权方式让新阶段的方向占更大比重，或者用指数衰减滑动平均更新子空间。这样能明显提升长期多阶段稳定性。
5.3 跟回放方法结合更实用
这篇论文的方法有一个非常大的优点：它不排斥回放和蒸馏，反而很适合叠加。在少量旧样本回放的设定下，回放提供的是高置信度的旧任务梯度方向，梯度对齐再对每个batch的新梯度做保护，两者配合能同时解决“方向冲突”和“信息不足”两个问题。
我自己在实际项目中试过一种组合：
- 每类旧样本保留16张。
- 每个batch中混入约20%的旧样本。
- 新样本路径上使用本文的梯度对齐。
- 检测头分类损失加一点旧类的蒸馏正则。
结果比单独用回放高2到3个点的平均AP，而且旧类AP更平稳。这里的关键是不要让回放样本过多，否则模型会偏向记忆旧样本的分布，反而影响新类学习。保持少量、高质量、类别均衡，是最实用的配置。
6. 一些个人体会
这篇论文给我最大的启发不是“投影矩阵”这个数学技巧，而是它把增量学习从“加损失”变成了“修梯度”。加损失像是在告诉模型你要记得旧知识，但模型该忘的地方还在忘；修梯度则是在底层保证更新方向不偏离旧任务的安全区间，更本质。
但也要说句实在话，梯度对齐在实际落地中不是一上来就能跑得又稳又好的方法。它比蒸馏和回放都要敏感，对旧梯度子空间的质量要求很高。如果旧模型本身就烂，映射出来的“旧任务方向”就是错的，后面所有对齐都建立在错误地基上。所以我建议想复现的同学，先确保旧模型在旧类上还有不错的检测能力，再谈梯度保护。另一个建议是，第一版实现不要追求全模型覆盖，先在检测头和骨干最后一两层上做对齐，等指标趋势符合预期后，再逐步扩大范围，否则出了问题根本不知道是哪一层在拖后腿。
如果你也被增量检测的遗忘问题折磨过，不妨按这个思路搭一版小实验。不用一开始就追求完美复现论文全部细节，先用少量样本、单阶段增量把“旧类AP不降、新类AP可学”这条底线跑出来，后续再优化子空间更新和超参。梯度对齐不是万能药，但它在无旧数据、缺隐私数据的环境里，确实是一个非常值得放进工具箱的方案。
