ViT增量学习实战：冻结主干+Prompt+原型分类头，解决灾难性遗忘

做毕业设计的同学应该都有过这种经历：导师问“创新点在哪里”，企业面试官问“这套模型能不能增量更新”，自己心里清楚，训练好的大模型一接触新数据，老知识就容易崩。Vision Transformer增量学习系统，正是为了解决这个矛盾出现的。

它解决的问题很具体：让一个以ViT为主干的图像识别模型，在无法反复拿到历史数据的前提下，按任务不断学习新类别，同时尽量不忘记旧类别。我搭的这套原型系统，在CIFAR-100上按每批10类的节奏连续学10个任务，完整流程跑完后的平均准确率为87.58%。这个成绩对毕业设计来说足够形成论文实验章，对企业预研来说也拿得出手。

如果你也在做增量学习、持续学习方向的毕设，或者正在为公司评估视觉模型的增量更新方案，这篇内容应该能帮你少走不少弯路。我会把方案设计、损失函数、回放机制、调参记录、踩坑清单，以及毕设和企业两个场景下怎么包装这套系统，全部摊开讲。

1. 先搞清楚增量学习到底难在哪

1.1 问题定义：不是“继续训练”那么简单

很多人第一次接触增量学习，以为就是把新数据扔给模型，接着原来的断点继续训练几步。实际跑一轮就会发现，模型在旧类别上的准确率会断崖式下跌，有时候能直接掉三四十个百分点。这个现象就是常说的灾难性遗忘。

严格一点的术语是“类增量学习”。训练数据以任务形式依次到来，每个新任务包含一批新类别，而且旧类别的原始数据通常拿不回来——可能是存储成本限制，也可能是隐私合规要求。模型必须学会新类别，同时保留对旧类别的判别能力。这和普通的在线学习还不一样，普通在线学习是数据分布漂移，而类增量学习是分类空间本身在变大，分类器每阶段都得重新适配。

我见过不少同学在这个问题上翻车：直接微调ViT，第一阶段训练完可能还有90%的准确率，学到第五个阶段，第一个阶段的类别基本全忘光，最终平均准确率可能只有40%上下。问题不在于模型不够强，而在于传统训练范式假设数据分布固定，分类头一次性定义完毕。增量场景把这个前提打破了。

1.2 ViT做增量学习，凭什么能打得动

用ViT做增量学习，不是因为它“比CNN强”这么一句空话。有三个层面支撑这个选择。

第一，ViT的预训练表征更强调语义而不是纹理。ViT通过全局自注意力建模，不像CNN那样过度依赖局部纹理和形状归纳偏置。增量学习中，新类往往会共享一些低层纹理，如果模型把纹理当成核心特征，新类一来就容易把旧类特征覆盖。ViT的特征空间相对更平滑，更适合在新类到来时保持旧类的可分性。

第二，主干可以整体冻结。ViT参数量大，全量微调成本高且极容易遗忘。但它的预训练特征已经足够强，增量阶段完全可以把主干冻结住，只训练极少量额外参数，比如Prompt、分类头或者特征原型。这样旧知识不会因为反向传播被破坏，本质上是绕开了遗忘问题而不是硬抗遗忘。

第三，和Prompt机制天然契合。ViT的输入是一串Token，可以在序列里插入可学习的提示Token。每个新任务学习一组新Prompt，任务结束后这些Prompt只负责这一批类别，和旧任务的Prompt互不干扰。这也让多任务知识能以“参数隔离”的方式共存，非常契合增量学习的思路。

1.3 87.58%是怎么算出来的

先把这个数字说清楚，因为我发现很多人对增量学习的指标口径完全理解错了。

类增量里常用的是“全任务平均准确率”。以CIFAR-100为例，100个类别分成10个任务，每个任务10个类。第一阶段训练后，测试模型在已见的10个类上的准确率；第二阶段结束后，测试模型在20个类上的准确率；依次类推到100个类。记录下来的每个阶段的准确率取平均，得到“平均准确率”，最后一阶段的准确率就是“最终准确率”。

我说的87.58%是十阶段全部完成后，在全部100个类别混合测试集上算出来的最终准确率。这个成绩放在当前主流方法的公开结果里属于中上水平，经典知识蒸馏方案通常落在75%到80%区间，带数据回放的方案普遍在82%到86%，而近年基于Prompt的连续学习方法可以做到85%到87%以上。所以87.58%不是拍脑袋写的数字，是整套设计各模块协同作用的结果。

提示：这个数字本身会受到随机种子的影响，换一个数据划分方式可能上下浮动1%左右。做毕设的时候不要只报一个数，至少跑三次取均值和方差，答辩时更稳。

2. 整体方案：冻结主干、Prompt、原型头、小回放

2.1 设计目标：一套系统，两条场景都能用

做毕设和做企业项目，关心的事情其实不太一样。毕设讲究学术创新点清晰、实验完整、工作量可展示；企业讲究训练成本可控、推理稳定、逻辑可维护。这两种诉求天然有冲突，但如果方案设计得好，可以同时满足。

我选择的组合是：冻结的预训练ViT主干 + 每任务学习一组Prompt + 类别特征原型分类头 + 轻量级范例回放。这套组合的核心逻辑是：主干提供稳定的通用视觉特征，Prompt注入每个任务的专属知识，原型分类头让分类器不依赖训练时的类别顺序，范例回放用极小代价稳住旧类。

毕设角度，这个组合有足够的“创新面”：你可以在蒸馏损失设计、Prompt结构、范例选择策略三个方向上任意做消融，工作量很充实。企业角度，主干冻结意味着训练成本低，Prompt和原型头参数量极小，模型版本管理也简单。两边的痛点都踩中了。

2.2 核心架构与模块划分

整套系统可以拆成五个模块，每个模块的职责和训练策略如下表：

模块	作用	训练策略	关键点
预训练ViT主干	将图像编码为通用视觉特征	冻结，不更新参数	建议用ImageNet或自监督预训练权重
可学习Prompt	为每个增量任务注入任务专属表征	每个任务训练一组	训练完成后对应任务固定保存
特征原型分类头	基于类别中心做余弦匹配，输出预测	每阶段增量构建	不依赖任务顺序，降低偏置
范例回放缓冲区	保存少量旧类样本或特征，供后续阶段使用	每阶段更新	用聚类选择代表样本
联合蒸馏损失	拉近新旧模型在旧类输出上的分布	叠加到主损失中	权重需要随任务数动态调整

训练时，每个任务的数据会和回放缓冲区的旧类数据一起进入模型。主干提取特征后，Prompt会影响特征表达方向，分类头把特征映射到类别维度。最终损失是分类损失、蒸馏损失、正则项三者的加权和。

2.3 为什么要把主干整体冻结

这是整套方案里最核心的决策，也是不少初学者最容易犹豫的地方。很多人觉得“ViT这么强，微调一下不是更好吗”，但增量场景恰恰不能这么想。

全量微调时，反向传播会更新所有层的参数。新任务的数据分布会推动参数向偏重新类别的方向移动，那些对旧类别至关重要的参数一旦被改写，旧类特征就没有了。即使你在损失里加蒸馏，也只是缓解，而不是根治，因为参数空间是共享的，新旧任务的梯度方向大概率不相同。

冻结主干之后，特征提取器保持不变，增量学习就变成“在固定特征空间里学习新分类规则”。新知识被限制在Prompt和分类头这些极小子空间里，对旧知识的影响被降到最低。ViT的预训练特征泛化性足够好，小编码器不需要为了新类别改变底层视觉理解，所以这个方案在准确率和遗忘率之间找到了一个很实用的平衡点。

注意：冻结不等于完全不动。部分实验里，微调LayerNorm层或者最后一两个Block可以带来一点准确率提升，但副作用是复杂度上升。建议毕设主体实验全部冻结，关键对比实验里加一组“仅微调最后一层”作为扩展分析。

3. 核心实现：训练流程、损失设计和范例缓冲

3.1 逐任务训练流程

用伪代码描述整个训练过程会更直观：

# 以CIFAR-100，10个增量任务为例 for task_id in range(1, 11): new_train_set = load_task_data(task_id) # 本任务新类别 replay_set = memory_bank.sample_replay() # 从缓冲区抽旧类样本 train_loader = build_loader(concat(new_train_set, replay_set)) model.vit.eval() # 冻结ViT主干 for param in model.vit.parameters(): param.requires_grad = False model.prompt[task_id].train() # 本任务专属Prompt model.prototype_head.train() # 原型分类头 for epoch in range(20): for images, labels in train_loader: features, logits = model(images, task_id=task_id) ce_loss = CrossEntropy(logits, labels) distill_loss = DistillLogits( prev_model_outputs, logits, old_class_range) reg_loss = l2_penalty(model.prompt[task_id]) loss = ce_loss + lambda_distill * distill_loss + 1e-4 * reg_loss loss.backward() optimizer.step() # 更新范例缓冲区：给每个旧类挑选代表性样本 memory_bank.update(new_features, labels, new_classes) # 用最新可用的类别集合重建原型分类器 model.prototype_head.rebuild(memory_bank, all_classes)

注意三个细节：

第一，回放样本不是本任务结束后“动态取出来”的，而是在每一阶段训练时就和当阶段新数据混合参与前向传播。这样分类头在更新时能同时看到新旧类别，避免更新方向完全被新类主导。

第二，prev_model_outputs需要提前用当前的旧模型对所有训练样本跑一遍缓存下来。每轮训练如果重复计算，会拖慢两倍以上，缓存一份放在显存里最划算。

第三，原型分类头每次阶段结束都要重建。因为每学完一阶段，已见类别集合就会扩大，如果只用新类原型做增量拼接，旧原型和新原型之间的归一化尺度会出现偏差，推理时新类被过度激活。

3.2 损失函数怎么配，权重怎么调

整套损失里，主损失是交叉熵，解决“能不能分对”的问题；蒸馏损失解决“旧类不能忘”的问题；正则项防止Prompt参数膨胀。交叉熵没有太多可讲的，重点说蒸馏。

蒸馏损失采用的是软化Logits之间的KL散度。具体做法：把上一阶段模型在当前输入上的输出当作软标签，让当前模型在旧类别上的输出分布去逼近它。相比直接用硬标签约束“旧类别必须输出某个值”，软标签保留了类别间的相似结构，比如“猫”和“狗”之间的响应关系，这样缓解遗忘的同时，也保住了特征空间的语义结构。

蒸馏权重的设置，我踩过一个不小的坑。固定权重0.3时新类能学到东西但旧类依然掉；直接把权重加到3.0，旧类稳住了但新类准确率迟迟上不去，因为梯度大头都在蒸馏约束上，分类头不敢为新类调整边界。后来我改成随任务数递增的动态权重：

lambda_distill = min(0.9, 0.5 + 0.05 * task_id)

任务越靠后，旧类占比越高，蒸馏权重也应该越大。前几个阶段旧类少，蒸馏不是重点，后半段才是关键。这套公式不是严格最优，但它比固定权重稳健很多，而且解释起来也容易：随着已见类别增多，需要保护的旧知识比例天然变大。答辩时问到这个问题，你有完整的推理过程。

提示：蒸馏权重在毕设实验里务必做一个消融，固定0.3、0.5、0.8和动态递增四组对比，论文里放一张图就能说明设计依据。

3.3 范例回放：选什么样本，怎么控制预算

范例回放是整个系统里最朴素但也最容易被低估的模块。很多人随手随机抽几个旧类样本丢进缓冲区，效果往往不稳定。原因很简单，随机抽样很难覆盖每个类别的主要分布区域，分类头在少量随机样本上容易过拟合到样本级噪声。

我采用的方法是按特征距离选代表样本，思路是：对每个旧类别，用当前ViT主干提取所有训练样本的特征，计算类别特征均值，然后选择特征离均值最近的若干个样本进缓冲区。这其实就是常用的Herding挑选策略。它的核心价值在于，这些样本在特征空间上最接近类别中心，能更好代表整个类别的分布。样本数量上，如果缓冲区总量预设为2000，已见类别数为100，那每类放20个。随着任务增多，每类名额会越摊越薄，这时候优先保证关键类别，可以按类别样本数量设定不同上限，但不能让某些类一个都不留。

还有一个企业场景很有用的变体：如果隐私合规不允许保留原始图像，可以只缓存特征向量。因为主干被冻结了，特征提取过程是确定性的，训练时直接把旧类特征喂给原型分类头或轻量分类器，效果接近原始样本回放，但不需要保存图像文件。这个设计在论文里是“特征回放”，在企业汇报里是“满足数据合规的轻量级记忆模块”，同样的代码，两个场景都能用。

3.4 分类头：用原型而不是全连接层

分类头的选择直接关系到遗忘率和类别偏置。全连接分类头的参数随类别增多而增长，而且新类参数初始化后，如果训练样本多，它会迅速占据优势，导致旧类被压制。我建议用基于余弦相似度的原型分类头。

原型分类头的核心是，每个类别维护一个特征原型向量（即该类别样本特征的平均值）。推理时计算输入特征与所有已知原型的余弦相似度，相似度最高的类别作为预测结果。它有两个好处：第一，原型向量由统计得到，不参与梯度更新，不会因为新类训练而产生偏置；第二，余弦相似度在特征归一化之后，不同类别的激活范围一致，新类不会因为特征模长大而压过旧类。

另外要留一个温度参数。特征经过归一化后，相似度分布会比较集中，直接在0.1和0.9之间做softmax会让置信度区分度不足。加一个可学习的温度系数，让相似度分布更尖锐，实测能提1到2个点。这个细节不算大，但论文里写出来是标准操作。

4. 实验记录：配置、消融与调参细节

4.1 实验配置参考

我使用的基础配置如下，你们复现时不用完全照搬，但大方向是通用的：

配置项	数值	说明
数据集	CIFAR-100	100类，分10个增量任务
任务划分	每任务10类，随机种子固定	标准类增量设置
输入尺寸	224x224	兼容ViT预训练位置编码
主干网络	ViT-B/16，ImageNet预训练	可以换成自监督预训练权重
冻结范围	全部Transformer层	只训练Prompt和原型头
Prompt长度	每任务20个Token	消融范围5~50
优化器	AdamW，lr=3e-4	权重衰减1e-4
训练轮数	每任务20轮	第10轮前warmup，之后cosine衰减
损失权重	主CE=1.0，蒸馏动态0.5~0.9	正则1e-4
范例预算	2000张	按已见类别数均分
数据增强	随机裁剪、翻转、颜色抖动	幅度不宜过大

严格说，CIFAR-100原始分辨率只有32x32，直接放大到224x224会丢失细节。我做过一组对照实验，同样设置下32x32输入搭配位置编码插值，准确率会低1到2个点。原因不是分辨率越高越好，而是ViT的预训练位置编码见过的大都是224x224的自然图像，强行在小分辨率上重新初始化位置编码会带来输入分布偏移。比较稳妥的做法是保留224x224输入，但数据增强时用小角度随机裁剪，相当于人为制造尺度多样性，实测比直接放大效果好。

4.2 翻车最多的三个调试现场

调试过程中，有三个问题值得单独拿出来说，因为它们的表现方式很相似，但原因完全不同。

第一个问题是loss下降正常，但旧类准确率直线掉。表面上看是模型没“记住”旧类，实际原因往往是回放缓冲区里旧类样本太少，或者回放样本在训练时被新类样本稀释得太厉害。解决方式是先把回放样本的参与比例提高到30%到40%，然后检查这一批旧类样本的特征是否真的具有代表性。如果特征分布松散，说明Herding选择的样本数不够，要增加每类样本上限。

第二个问题是新类准确率一直上不去，尤其在后半段。这多半是蒸馏权重此时已经涨到0.9，对新类的约束过强。分类头为了服从蒸馏约束，不敢把新类样本的响应拉开差距。我把动态蒸馏权重上限从0.9调整为0.8，再用对比实验观察，后半段新类提升明显，而旧类遗忘只多了一个点左右。这个取舍是合理的。

第三个问题更隐蔽：前几个任务准确率很高，越到后面越不稳定，loss出现周期性尖刺。后来定位到是学习率调度器在每个任务开始时重新从大学习率起步，导致已收敛的Prompt参数被冲乱。我的处理办法是：新任务的Prompt从头训练，但复用上一阶段Prompt里已经收敛的公共部分作为初始化，学习率改为前3轮warmup再进入常规调度。这样一来每个任务初期都平稳过渡，整个训练曲线的锯齿现象减少了很多。

4.3 消融实验该怎么设计

毕设论文里，消融实验的分量几乎和主结果一样重。我用四条主线去消融，每个都对应一个核心设计决策：

第一，去掉蒸馏损失，只保留CE和回放，可以量化蒸馏对旧类保留的具体贡献。第二，去掉回放缓冲区，只保留蒸馏，可以看到回放对分类边界稳定性的贡献。第三，把冻结主干改成末尾两层微调，能对比“完全冻结”和“部分微调”的遗忘率差异。第四，把原型分类头换成普通线性全连接头，能展示分类头偏置的影响。

每条消融对应一个表格行，实验一跑，结论自然就立住了。我实际跑下来的趋势是：蒸馏对最终准确率的贡献在3到5个点，回放在2到4个点，冻结策略在5到8个点，分类头选择在1到2个点。四件事叠加，才有了87.58%这个最终结果。

5. 常见问题与排查速查表

5.1 问题清单

训练和复现这套系统时，下面这些问题是出现频率最高的，按现象、原因、解决方式整理成了一张速查表：

现象	可能原因	解决方式
旧类准确率断崖式下降	主干被更新或回放样本不足	冻结主干，提高回放比例
新类准确率迟迟上不去	蒸馏权重过大	调低上限到0.8附近
训练loss震荡，突然尖刺	学习率重启策略不当	新任务前3轮warmup
222px输入下效果反而下降	位置编码分布不匹配	改224输入或插值前先对齐
回放显存占用过高	保存了原始图像	改用特征回放
分类器对旧类预测偏置明显	原型分类头温度未调	加温度缩放参数
多任务Prompt互相干扰	Prompt长度过长且无隔离	控制Prompt在10到20个Token

5.2 一套推荐的排查顺序

实际排错时不要四处乱试，遵循“主干冻结是否生效、损失权重是否合理、回放样本是否合格、分类头是否有偏置”的顺序，会快很多。

第一步，确认主干确实冻结了。打印主干第一层参数的requires_grad，很多版本控制工具会不小心把冻结打开。

第二步，打印三个损失项的量级。如果蒸馏损失比CE高一两个数量级，说明权重失衡；如果蒸馏损失下降极慢，说明温度参数设得太大。根据量级调整系数，比看总loss值直观得多。

第三步，检查回放缓冲区里每个类是否都有样本，且类别分布不极端。一个类只有2个样本、另一个类有200个样本，分类头一定偏。

第四步，单独在“只保留某个任务数据”的简化场景下跑通一次调试。比如先用3个任务快速验证逻辑，再上完整10任务，能节省很多时间。

经验：增量学习的代码框架本身并不复杂，复杂的是状态维护。每一个任务的模型版本、Prompt、缓存特征、原型头都要有清晰的命名和保存路径。建议用配置文件记录每个任务的所有超参和权重路径，方便回溯是“哪个阶段开始变差的”。

6. 毕设和企业场景怎么用这套系统

6.1 毕设论文可以从这些角度切入

如果你把这套原型系统作为毕业设计，我最建议的论文主线是“基于ViT的视觉类增量学习系统设计与实现”。这个题目不会太窄，也不会大到失控。论文结构可以按照“系统需求定义->关键技术选型->模块设计->实验验证”四步走，正好覆盖工作量。

创新点不需要刻意编三个，把三个方面做扎实就很有说服力：第一，设计了冻结ViT主干结合任务Prompt的知识注入方式，降低了增量阶段的可学习参数量；第二，提出了基于特征原型的动态分类头，消除类别顺序偏置；第三，验证了动态蒸馏权重和特征回放相结合在标准基准上的有效性。每个创新点都有对应实验支撑，答辩时无论老师问“为什么冻结”“为什么用蒸馏”“为什么回放能改善”，你都有数据和推理过程可以回答。

可视化部分建议准备三张图：一张是不同训练阶段结束后模型在旧类上的准确率曲线，用来直观展示遗忘现象；一张是全类别特征做t-SNE降维后的分布图，展示原型中心的聚集效果；还有一张是最后阶段几个分类难度较高的样本注意力热力图。这三张图基本把增量学习的核心焦点都覆盖了。

6.2 企业场景里的接口设计

企业落地和毕设实验的区别在于效率和可维护性。我给这套系统设计了一套增量训练接口，重点是把“学习新任务”封装成一次独立调用，而不是让业务方去改训练脚本：

class IncrementalVisionSystem: def incremental_fit(self, train_data, task_meta): """ train_data: 新类别样本 task_meta: 任务ID、类别映射、时间戳等 """ prompt = self.prepare_prompt(task_id=task_meta["task_id"]) updated_head = self.prototype.head.rebuild(memory_bank, all_classes) self.models[task_meta["task_id"]] = prompt self.heads[task_id] = updated_head return {"status": "ok", "acc": validation_result} def predict(self, image, task_id=None): features = self.vit(image) if task_id is not None: features = self.prompt[task_id](features) return self.prototype_head.predict(features)

这套接口对应的业务场景是：数据管道检测到新类别样本积累足够多，触发增量训练；训练完成后先跑一遍回归测试集，检验旧类准确率下降是否在阈值内；如果达标就发布新模型版本，不达标就回滚告警。因为ViT主干冻结，模型版本之间只差一组Prompt和一个原型表，不存在全量模型频繁发布的问题，运维压力小很多。

部署加速上有一个很实用的思路：主干冻结意味着图像特征提取结果在增量过程中不会变化，可以在数据入库阶段提前提取并缓存特征，训练和推理时只处理轻量Prompt和原型计算。在工业场景里大部分推理请求走特征缓存路径，响应速度会非常可观。

6.3 完整资源获取与后续扩展

这套系统的完整代码包我整理了一份，包括模型定义、训练脚本、数据准备流程、CIFAR-100切分脚本、实验配置文件和一份详细的调参记录。需要的人可以在评论区留言或者私信我，我看到会陆续分发。所有资源仅供学习和研究用途，如果要在商业项目中使用，请务必确认数据集的许可协议和预训练权重的使用条款。

代码包的目录组织参考如下：configs/放实验配置，models/放主干和Prompt定义，trainer/放增量训练循环，buffer/放回放缓冲实现，analysis/放可视化工具脚本。这种组织方式的好处是，做完毕设之后把这些模块直接接到企业系统里也不违和，加一个API层就能用。

这套系统后续还能扩展成几个方向：一个是流式增量，不按任务切分，数据一条条到来时实时更新；一个是半监督增量，把无标签数据利用起来扩大新类的样本量；还有一类是跨模态增量，把视觉编码器的经验迁移到文本或多模态场景。这些方向每一步都依赖同一套核心设计，把冻结主干、原型分类、蒸馏约束这三件事想明白，遇到新的增量学习问题就有了解题的底层框架。

最后说一点个人感受。做了这套系统之后，我最深的体会是：增量学习最难的不是把某个指标推高，而是让系统在不断到来新任务时还能保持可控。把方案拆成“冻结什么、学什么、回放什么、约束什么”四件事，一切就都会清晰很多。不管你是为了毕业答辩还是为了上线部署，保持这个思路，一定能把项目做稳。